Le 2 octobre 1980, à la recherche d'un nouveau record en tant que seul boxeur à gagner le titre en poids lourds quatre fois, il perd avant la limite pour la seule fois de sa carrière, lorsqu'Angelo Dundee refusa de le laisser reprendre le combat au 11^e round. Le combat contre Holmes, organisé comme « The Last Hurrah », est considéré avec dédain par de nombreux fans et experts car nombre d'entre eux ont vu une version amoindrie d'Ali. Holmes était le partenaire d'entraînement d'Ali et pour cette raison, certains virent le résultat de ce combat comme un « passage de témoin », un combat de trop semblable à ceux de Rocky Marciano contre Joe Louis ou de Mike Tyson contre Larry Holmes. Holmes admettra même par la suite que bien qu'il dominât le combat, il retenait un peu ses coups par pur respect pour son idole et ancien employeur.

Malgré l'apparent caractère définitif de sa défaite contre Holmes, ainsi que sa condition physique suspecte, Ali boxera encore une fois : le 11 décembre 1981, il affronte en effet le challenger en pleine ascension et futur champion Trevor Berbick dans ce qui fut dénommé The Drama in the Bahamas. Ali étant alors vu comme un boxeur diminué, peu de salles américaines témoignèrent de l'intérêt pour ce combat et peu de fans montrèrent d'enthousiasme à s'y rendre ou à le regarder. Comparé aux combats qu'Ali avait disputés plus tôt dans sa carrière dans des endroits renommés, le match eut finalement lieu dans une quasi-indifférence à Nassau. Il fait une prestation légèrement meilleure que celle offerte contre Holmes 14 mois auparavant mais perd néanmoins par décision unanime à la dixième reprise au profit de Berbick, qui à 27 ans était de 12 ans son cadet