O assentamento mais antigo no território da moderna cidade de Graz remonta à Idade do Cobre. No entanto, não há continuidade histórica de um assentamento antes da Idade Média.
Durante o século XII, os duques sob o governo de Babenberg transformaram a cidade em um importante centro comercial. Mais tarde, Graz passou para o domínio dos Habsburgos e, em 1281, obteve privilégios especiais do Rei Rodolfo I.
No século XIV, Graz tornou-se a cidade de residência da linhagem dos Habsburgos na Áustria Interior. A realeza vivia no castelo de Schloßberg e de lá governava a Estíria, a Caríntia, a maior parte da atual Eslovênia e partes da Itália (Carniola, Gorizia e Gradisca, Trieste).
No século XVI, o design e o planejamento da cidade eram controlados principalmente por arquitetos e artistas renascentistas italianos. Um dos edifícios mais famosos construídos nesse estilo é o Landhaus, projetado por Domenico dell'Allio e usado pelos governantes locais como sede do governo.
Graz fica na Estíria, ou chamada de "Steiermark" em alemão. Mark é uma antiga palavra alemã que indica uma grande área de terra usada como fronteira defensiva, na qual os camponeses aprendem a se organizar e lutar em caso de invasão. Com uma localização estratégica na cabeceira do vale aberto e fértil do Mur, Graz foi frequentemente atacada (sem sucesso), por exemplo, pelos húngaros sob o comando de Matias Corvino em 1481 e pelos turcos otomanos em 1529 e 1532. Além do Riegersburg, o Schloßberg foi a única fortificação da região que nunca caiu nas mãos dos turcos otomanos. Graz abriga o arsenal provincial da região, que é a maior coleção histórica de armamento barroco do mundo. Ele está preservado desde 1551 e exibe mais de 30.000 itens.
Desde o início do século XV, Graz foi a residência do ramo mais jovem dos Habsburgos, que sucedeu ao trono imperial em 1619 na pessoa do Imperador Fernando II, que transferiu a capital para Viena. Novas fortificações foram construídas no Schlossberg no final do século XVI. O exército de Napoleão ocupou Graz em 1797. Em 1809, a cidade resistiu a outro ataque do exército francês. Durante este ataque, o comandante da fortaleza recebeu ordens de defendê-la com cerca de 900 homens contra o exército de Napoleão, de cerca de 3.000. Ele defendeu com sucesso o Schloßberg contra oito ataques, mas eles foram forçados a desistir depois que a Grande Armée ocupou Viena e o Imperador ordenou a rendição. Após a derrota da Áustria pelas forças napoleônicas na Batalha de Wagram em 1809, as fortificações foram demolidas com explosivos, conforme estipulado na Paz de Schönbrunn do mesmo ano. O campanário e a torre do relógio cívico, frequentemente usados como símbolo de Graz, foram poupados depois que o povo de Graz pagou um resgate para sua preservação.
