A avenida, um dos símbolos da capital paulista, está localizada onde antes havia uma grande área verde conhecida como Mata Grande. Uma única trilha, chamada de Caminho de Real Grandeza, era a passagem pela região. Isso foi até o final do século XIX, quando o engenheiro agrônomo uruguaio, Joaquim Eugênio de Lima, comprou a região e decidiu construir uma grande via para São Paulo, que na época seria a maior da cidade.Foi inaugurada no dia 8 de dezembro de 1891, por iniciativa do engenheiro Joaquim Eugênio de Lima e do Dr. Clementino de Souza e Castro (na época presidente do conselho de intendências da cidade de São Paulo, o que equivale hoje ao cargo de prefeito), com o principal objetivo de abrigar paulistas que desejavam adquirir seu espaço na cidade.Curiosamente seu nome inicial seria avenida das Acácias ou Prado de São Paulo. Isso foi até 1952 quando o então prefeito Arruda Pereira mudou o zoneamento pela lei número 4313, permitindo a construção de prédios. O primeiro a construir um prédio foi o médico Pedro de Cerqueira Falcão no nº 266 em 1956. Em 1978, o prefeito Faria Lima emitiu um decreto desapropriando 10 metros de cada lado da avenida, conseguindo os 48 metros existentes atualmente.