La plus ancienne colonie sur le terrain de la ville moderne de Graz remonte à l'âge du cuivre. Cependant, il n'y a pas de continuité historique d'un peuplement avant le Moyen Âge.
Au XIIe siècle, les ducs de Babenberg firent de la ville un centre commercial important. Plus tard, Graz passa sous le règne des Habsbourg et, en 1281, obtint des privilèges spéciaux du roi Rodolphe Ier.
Au 14ème siècle, Graz devint la ville de résidence de la lignée autrichienne intérieure des Habsbourg. La royauté vivait dans le château du Schloßberg et de là régnait sur la Styrie, la Carinthie, la majeure partie de la Slovénie actuelle et certaines parties de l'Italie (Carniole, Gorizia et Gradisca, Trieste).
Au XVIe siècle, la conception et la planification de la ville étaient principalement contrôlées par des architectes et des artistes italiens de la Renaissance. L'un des bâtiments les plus célèbres construits dans ce style est le Landhaus, conçu par Domenico dell'Allio et utilisé par les dirigeants locaux comme siège du gouvernement.
Graz se trouve en Styrie, ou appelée « Steiermark » en allemand. Mark est un vieux mot allemand désignant une vaste zone de terre utilisée comme frontière défensive, dans laquelle les paysans apprennent à s'organiser et à se battre en cas d'invasion. Bénéficiant d'un emplacement stratégique à l'entrée de la vallée ouverte et fertile de la Mur, Graz fut souvent attaquée (sans succès), par exemple par les Hongrois sous Matthias Corvinus en 1481, et par les Turcs ottomans en 1529 et 1532. Outre le Riegersburg, le Schloßberg C'était la seule fortification de la région qui n'est jamais tombée aux mains des Turcs ottomans. Graz abrite l'armurerie provinciale de la région, qui constitue la plus grande collection historique d'armes baroques au monde. Il est conservé depuis 1551 et présente plus de 30 000 objets.
Dès le début du XVe siècle, Graz était la résidence de la branche cadette des Habsbourg, qui accéda au trône impérial en 1619 en la personne de l'empereur Ferdinand II, qui transféra la capitale à Vienne. De nouvelles fortifications furent construites sur le Schlossberg à la fin du XVIe siècle. L'armée de Napoléon occupa Graz en 1797. En 1809, la ville résista à un nouvel assaut de l'armée française. Au cours de cette attaque, le commandant de la forteresse reçut l'ordre de la défendre avec environ 900 hommes contre l'armée de Napoléon qui comptait environ 3 000 hommes. Il défendit avec succès le Schloßberg contre huit attaques, mais ils furent contraints d'abandonner après que la Grande Armée occupa Vienne et que l'empereur ordonna de se rendre. Après la défaite de l'Autriche face aux forces napoléoniennes lors de la bataille de Wagram en 1809, les fortifications furent démolies à l'aide d'explosifs, comme le stipulait la paix de Schönbrunn de la même année. Le clocher et la tour de l'horloge municipale, souvent utilisés comme symbole de Graz, ont été épargnés après que les habitants de Graz ont payé une rançon pour leur préservation.
