Kontinuerlig okkupert siden steinalderen, de første innbyggerne i Avignon bodde i hulene i Rocher des Dames, et massivt utspring av stein som reiser seg over bredden av Rhône. I dag er det en park der med utsikt over landskapet rundt, en kafé og en lekeplass.
Romerne hadde en tilstedeværelse i Avignon, selv om veggene ikke lenger kan sees når de ligger begravet under dagens moderne gater. Rester av forumet kan fortsatt sees, som ligger nær Rue Racine og Rue Saint-Etienne, vest for byen.
I middelalderen ble byen sentrum for kommunikasjon og handel. Steinbroen som spenner over Rhône var en av bare tre mellom Middelhavet og Lyon. Av denne grunn ble det valgt av pavedømmet som hjem i det daværende kongedømmet Provence. Tilstedeværelsen av pavedømmet gjorde Avignon til en by med stor politisk og økonomisk aktivitet. Den gamle bymuren, som nå bare er synlig som en gate som omkranser selve sentrum av byen, var altfor liten og en større mur, fortsatt synlig i dag, var nødvendig for å beskytte den svulmende befolkningen. Velstående kardinaler bygde ekstravagante palasser kjent som livrées både i Avignon og over elven, i Villeneuve-lès-Avignon.
Byen myldret av aktivitet og byggverk da arkitekter, byggherrer, kunstnere strømmet til byen. På den tiden var det innenfor bymurene over 100 kirker og kapeller – mange av dem har blitt forvandlet siden den gang til alt fra butikker til en kino! Rikdommen og aktiviteten generert av tilstedeværelsen av pavedømmet rant ut i regionen, slik at selv små landsbyer i nærheten kan skilte med en rik arkitektonisk fortid.