Ocupada continuamente desde a Idade da Pedra, os primeiros habitantes de Avignon viveram nas cavernas do Rocher des Dames, um enorme afloramento rochoso que se ergue sobre as margens do Ródano. Hoje, ali há um parque com vista para a paisagem rural circundante, um café e um playground.
Os romanos marcaram presença em Avignon, embora as muralhas não possam mais ser vistas, pois estão enterradas sob as ruas modernas. Vestígios do fórum ainda podem ser vistos, perto das Ruas Racine e Saint-Étienne, a oeste da cidade.
Na época medieval, a cidade tornou-se o centro de comunicação e comércio. A ponte de pedra sobre o Ródano era uma das três únicas entre o Mediterrâneo e Lyon. Por esse motivo, foi escolhida pelo papado como sede do então reino da Provença. A presença do papado transformou Avignon em uma cidade de grande atividade política e econômica. A antiga muralha da cidade, agora visível apenas como uma rua que circunda o centro da cidade, era pequena demais, e uma muralha maior, ainda visível hoje, era necessária para proteger sua população crescente. Cardeais ricos construíram palácios extravagantes conhecidos como livrées tanto em Avignon quanto do outro lado do rio, em Villeneuve-lès-Avignon.
A cidade fervilhava de atividade e construção, com arquitetos, construtores e artistas afluindo à cidade. Naquela época, dentro das muralhas da cidade, havia mais de 100 igrejas e capelas — muitas das quais foram transformadas desde então em tudo, de lojas a um cinema! A riqueza e a atividade geradas pela presença do papado se espalharam pela região, de modo que até mesmo pequenas vilas próximas ostentam um rico passado arquitetônico.