Quatro anos mais tarde, aos 21 anos e já como pesado, foi o boxeador mais jovem a conquistar o título mundial. Na decisão, superou Archie Moore por nocaute no quinto assalto. Três anos depois, ele perdeu o título e sofreu sua grande humilhação pública, sendo derrubado sete vezes no terceiro assalto do combate contra Ingemar Johansson.
Em 1960, Patterson obteve sua vingança nocauteando Johansson com um gancho de esquerda e recuperando seu cinturão. A carreira do campeão voltou a ser abalada dois anos depois ao perder o título para Sonny Liston, que venceu por nocaute logo no primeiro assalto.
Na tentativa de reconquistar o cinturão, Patterson voltou a ser derrotado por Linston no ano seguinte com mais um nocaute no primeiro assalto. Ele chegou a lutar contra Muhammad Ali, em 1965, em mais uma tentativa de ser campeão, mas novamente fracassou.
Sua última luta pelo título foi em 1968, enfrentando Jimmy Ellis, que venceu por pontos. "Se não fosse pelo boxe, eu provavelmente teria acabado atrás das grades ou morto", reconheceu em 1998.
Patterson encerrou sua carreira em 1972, com 55 vitórias, 40 por nocautes, oito derrotas e um empate e sofreu cinco nocautes. Em 1991, o novaiorquino foi indicado para o Hall da Fama do Boxe. Após a aposentadoria, ele chegou a dirigir a Comissão de Esportes de Nova York.
