Die ersten Einwohner von Avignon waren seit der Steinzeit ununterbrochen bewohnt und lebten in den Höhlen des Rocher des Dames, einem riesigen Felsvorsprung, der sich über die Ufer der Rhône erhebt. Heute gibt es dort einen Park mit Blick auf die umliegende Landschaft, ein Café und einen Spielplatz.
Die Römer waren in Avignon präsent, allerdings sind die Mauern nicht mehr zu sehen, da sie unter den heutigen modernen Straßen begraben liegen. Überreste des Forums sind noch heute in der Nähe der Rue Racine und der Rue Saint-Etienne im Westen der Stadt zu sehen.
Im Mittelalter wurde die Stadt zum Zentrum der Kommunikation und des Handels. Die Steinbrücke über die Rhone war eine von nur drei zwischen dem Mittelmeer und Lyon. Aus diesem Grund wurde es vom Papsttum als Sitz innerhalb des damaligen Königreichs Provence ausgewählt. Die Anwesenheit des Papsttums machte Avignon zu einer Stadt großer politischer und wirtschaftlicher Aktivität. Die alte Stadtmauer, die heute nur noch als Straße sichtbar ist, die das Stadtzentrum umgibt, war viel zu klein und eine größere Mauer, die heute noch sichtbar ist, war notwendig, um die wachsende Bevölkerung zu schützen. Wohlhabende Kardinäle errichteten sowohl in Avignon als auch auf der anderen Flussseite, in Villeneuve-lès-Avignon, extravagante Paläste, sogenannte Livrées.
In der Stadt herrschte reges Treiben und Bauen, da Architekten, Bauunternehmer und Künstler in Scharen in die Stadt strömten. Zu dieser Zeit gab es innerhalb der Stadtmauern über 100 Kirchen und Kapellen – viele davon wurden seitdem in alles Mögliche umgewandelt, von Geschäften bis hin zu Kinos! Der Reichtum und die Aktivität, die durch die Anwesenheit des Papsttums entstanden, breiteten sich auf die Region aus, so dass selbst kleine Dörfer in der Nähe eine reiche architektonische Vergangenheit vorweisen können.