Continuellement occupé depuis l'âge de pierre, les premiers habitants d'Avignon vécurent dans les grottes du Rocher des Dames, un affleurement de roches massif qui surplombe les rives du Rhône. Aujourd'hui, on y trouve un parc avec vue sur la campagne environnante, un café et une aire de jeux.
Les Romains ont marqué leur présence à Avignon, les murs ne sont cependant plus visibles parce qu’ils ont été enterrés sous les rues modernes. Les vestiges du forum sont cependant toujours visibles et sont situés près de la rue Racine et de la rue Saint-Etienne, à l'ouest de la ville.
À l'époque médiévale, la ville devint le centre de communication et de commerce. Le pont de pierre enjambant le Rhône était l'un des trois uniques ponts entre la Méditerranée et Lyon. Pour cette raison, la ville fut choisie par la papauté en tant que site dans le royaume de la Provence. La présence de la papauté à Avignon en fit une ville de grande activité politique et économique. Le mur de la vieille ville, maintenant visible seulement comme une rue qui entoure le centre même de la ville était beaucoup trop petit et un grand mur, encore visible aujourd'hui, fut nécessaire pour protéger sa population grandissante. Des Cardinaux riches firent construire des palais extravagants appelés Livrées à l'intérieur d’Avignon et de l’autre côté de la rivière, à Villeneuve-lès-Avignon.
Comme la ville grouillait d'activités et de bâtiments, les architectes, les constructeurs et les artistes affluèrent vers la ville. A cette époque, entre les murs de la ville, s’éleva plus de 100 églises et chapelles - dont beaucoup ont depuis été transformées en plusieurs choses allant de magasins à une salle de cinéma ! La richesse et l'activité générée par la présence de la papauté débordèrent dans la région, de sorte que même les petits villages à proximité offrent aujourd’hui un passé architectural riche.