Die älteste Siedlung auf dem Gelände der heutigen Stadt Graz geht auf die Kupferzeit zurück. Allerdings gibt es keine historische Kontinuität einer Siedlung vor dem Mittelalter.
Im 12. Jahrhundert machten Herzöge unter der Herrschaft Babenbergs die Stadt zu einem wichtigen Handelszentrum. Später kam Graz unter die Herrschaft der Habsburger und erhielt 1281 Sonderprivilegien von König Rudolf I.
Im 14. Jahrhundert wurde Graz Residenzstadt der innerösterreichischen Linie der Habsburger. Das Königshaus lebte auf der Burg Schloßberg und regierte von dort aus die Steiermark, Kärnten, den größten Teil des heutigen Slowenien und Teile Italiens (Krain, Görz und Gradisca, Triest).
Im 16. Jahrhundert wurden die Gestaltung und Planung der Stadt hauptsächlich von italienischen Architekten und Künstlern der Renaissance kontrolliert. Eines der berühmtesten Gebäude in diesem Stil ist das von Domenico dell'Allio entworfene Landhaus, das den örtlichen Herrschern als Regierungssitz diente.
Graz liegt in der Steiermark, auf Deutsch „Steiermark“ genannt. Mark ist ein altes deutsches Wort, das ein großes Gebiet bezeichnet, das als Verteidigungsgrenze dient und auf dem der Bauernschaft beigebracht wird, wie sie sich im Falle einer Invasion organisieren und kämpfen kann. Mit seiner strategischen Lage an der Spitze des offenen und fruchtbaren Murtals wurde Graz oft (erfolglos) angegriffen, z. B. 1481 von den Ungarn unter Matthias Corvinus und 1529 und 1532 von den osmanischen Türken. Abgesehen von der Riegersburg auch dem Schloßberg war die einzige Festung in der Region, die nie den osmanischen Türken zum Opfer fiel. In Graz befindet sich das Landeszeughaus der Region, die weltweit größte historische Sammlung barocker Waffen. Es ist seit 1551 erhalten und zeigt über 30.000 Gegenstände.
Ab dem frühen 15. Jahrhundert war Graz die Residenz des jüngeren Zweigs der Habsburger, der 1619 in der Person von Kaiser Ferdinand II. den Kaiserthron bestieg und die Hauptstadt nach Wien verlegte. Ende des 16. Jahrhunderts wurden auf dem Schlossberg neue Befestigungsanlagen errichtet. 1797 besetzte Napoleons Armee Graz. 1809 hielt die Stadt einem erneuten Angriff der französischen Armee stand. Während dieses Angriffs wurde dem Kommandanten der Festung befohlen, diese mit etwa 900 Mann gegen Napoleons etwa 3.000 Mann starke Armee zu verteidigen. Er verteidigte den Schloßberg erfolgreich gegen acht Angriffe, musste jedoch aufgeben, nachdem die Grande Armée Wien besetzt und der Kaiser die Kapitulation angeordnet hatte. Nach der Niederlage Österreichs durch napoleonische Truppen in der Schlacht bei Wagram im Jahr 1809 wurden die Befestigungsanlagen, wie im Frieden von Schönbrunn im selben Jahr vorgesehen, mit Sprengstoff abgerissen. Der Glockenturm und der Bürgeruhrturm, oft als Wahrzeichen von Graz genutzt, blieben verschont, nachdem die Grazer ein Lösegeld für ihren Erhalt gezahlt hatten.