Continuamente occupata fin dall'età della pietra, i primi abitanti di Avignone vivevano nelle grotte del Rocher des Dames, un massiccio affioramento roccioso che si erge sulle rive del Rodano. Oggi lì c'è un parco con vista sulla campagna circostante, una caffetteria e un parco giochi.
I romani erano presenti ad Avignone, anche se le mura non possono più essere viste poiché giacciono sepolte sotto le strade moderne di oggi. Si possono ancora vedere i resti del foro, situato vicino a Rue Racine e Rue Saint-Etienne, a ovest della città.
Nel medioevo la città divenne centro di comunicazioni e commerci. Il ponte di pietra che attraversava il Rodano era uno dei soli tre tra il Mediterraneo e Lione. Per questo motivo fu scelta dal papato come sede nell'allora regno di Provenza. La presenza del papato fece di Avignone una città di grande attività politica ed economica. Le mura della città vecchia, ora visibili solo come una strada che circonda il centro della città, erano troppo piccole e un muro più grande, visibile ancora oggi, era necessario per proteggere la sua crescente popolazione. I ricchi cardinali costruirono palazzi stravaganti conosciuti come livrées sia ad Avignone che al di là del fiume, a Villeneuve-lès-Avignon.
La città brulicava di attività e di costruzioni poiché architetti, costruttori e artisti accorrevano in città. A quel tempo, all'interno delle mura della città c'erano oltre 100 chiese e cappelle, molte delle quali da allora sono state trasformate in qualsiasi cosa, dai negozi al cinema! La ricchezza e l'attività generate dalla presenza del papato si riversarono nella regione, tanto che anche i piccoli villaggi vicini vantano un ricco passato architettonico.