O brasileiro, que competiu nas provas de natação na Olimpíada de Berlim em 1936, foi um dos principais artífices para a designação do Rio de Janeiro como sede olímpica (o estádio das provas de atletismo leva seu nome) mas não assistiu à cerimônia de abertura no ultimo dia 5 de agosto no estádio do Maracanã.

Ele renunciou em 2001 à condição de membro do Comitê Olímpico Internacional (COI) e, em abril de 2013, ao posto de presidente honorário da FIFA, após a eclosão do escândalo em que ele aparece como tendo recebido suborno da empresa de marketing esportivo ISL na década de 1990.