L'architecte est né en 1928 dans la ville brésilienne de Vitória, dans l'État d'Espírito Santo, au nord-est, et a suivi une formation à l'École d'architecture et d'urbanisme de l'Université Mackenzie.
Marié et père de six enfants, il avait débuté sa carrière dans les années 1950 et fait partie du mouvement considéré avant-gardiste à Sao Paulo, la fameuse école Paulista.
Il détient de nombreux prix, dont le Pritzker, considéré comme le "Nobel" d'architecture décerné par la Hyatt Foundation aux États-Unis, qui a reconnu sa "profonde compréhension de l'espace et de l'échelle avec la grande variété de bâtiments qu'il a conçus".
Mendes da Rocha a été le deuxième Brésilien à recevoir le prix, après Oscar Niemeyer (1988), créateur des principaux bâtiments publics de Brasilia et considéré comme l'un des pères de l'architecture moderne.
Il a également remporté le prix Mies van der Rohe d'architecture latino-américaine en 2000 pour la réforme et l'adaptation du bâtiment de la Galerie d'État de São Paulo, l'une de ses œuvres les plus emblématiques.
Parmi ses œuvres les plus connues, figurent le Gymnase du Paulistano Athletics Club - sa première œuvre -, le Musée brésilien de la sculpture et le pavillon officiel brésilien de l'Expo 1970, à Osaka.
En 2015, son seul projet à l'étranger, le siège du nouveau Musée National de l'Automobile, a été concrétisé à Lisbonne, capitale du Portugal.