Continuamente ocupada desde la Edad de Piedra, los primeros habitantes de Aviñón vivieron en las cuevas del Rocher des Dames, un enorme afloramiento rocoso que se eleva sobre las orillas del Ródano. Hoy en día hay allí un parque con vistas al campo circundante, una cafetería y un parque infantil.
Los romanos estuvieron presentes en Aviñón, aunque las murallas ya no se pueden ver porque yacen enterradas bajo las calles modernas de hoy. Aún se pueden ver restos del foro, cerca de la calle Racine y la calle Saint-Etienne, al oeste de la ciudad.
En la época medieval, la localidad se convirtió en el centro de comunicación y comercio. El puente de piedra que cruzaba el Ródano era uno de los tres únicos entre el Mediterráneo y Lyon. Por este motivo fue elegido por el papado como sede dentro del entonces reino de Provenza. La presencia del papado convirtió a Aviñón en una ciudad de gran actividad política y económica. La antigua muralla de la ciudad, ahora visible sólo como una calle que rodea el centro de la ciudad, era demasiado pequeña y era necesaria una muralla más grande, todavía visible hoy, para proteger a su abultada población. Los cardenales adinerados construyeron palacios extravagantes conocidos como livrées tanto dentro de Aviñón como al otro lado del río, en Villeneuve-lès-Avignon.
La ciudad estaba repleta de actividad y construcción a medida que arquitectos, constructores y artistas acudían en masa a la ciudad. En aquella época, dentro de las murallas de la ciudad había más de 100 iglesias y capillas, ¡muchas de las cuales se han transformado desde entonces en todo tipo de cosas, desde tiendas hasta salas de cine! La riqueza y la actividad generadas por la presencia del papado se extendieron a la región, de modo que incluso los pequeños pueblos cercanos cuentan con un rico pasado arquitectónico.
