L'insediamento più antico sul territorio della moderna città di Graz risale all'età del rame. Non esiste però alcuna continuità storica di un insediamento anteriore al Medioevo.
Nel XII secolo i duchi sotto il dominio di Babenberg trasformarono la città in un importante centro commerciale. Successivamente Graz passò sotto il dominio degli Asburgo e nel 1281 ottenne privilegi speciali dal re Rodolfo I.
Nel XIV secolo Graz divenne la città di residenza della linea austriaca interna degli Asburgo. I reali vivevano nel castello di Schloßberg e da lì governavano la Stiria, la Carinzia, gran parte dell'odierna Slovenia e parti dell'Italia (Carniola, Gorizia e Gradisca, Trieste).
Nel XVI secolo, il design e la pianificazione della città erano controllati principalmente da architetti e artisti del Rinascimento italiano. Uno degli edifici più famosi costruiti in questo stile è il Landhaus, progettato da Domenico dell'Allio, e utilizzato dai governanti locali come sede governativa.
Graz si trova in Stiria, o chiamata "Steiermark" in tedesco. Mark è un'antica parola tedesca che indica una vasta area di terra adibita a confine difensivo, nella quale ai contadini viene insegnato come organizzarsi e combattere in caso di invasione. Con una posizione strategica all'inizio dell'aperta e fertile valle del Mur, Graz fu spesso attaccata (senza successo), ad esempio dagli ungheresi sotto Mattia Corvino nel 1481 e dai turchi ottomani nel 1529 e 1532. Oltre al Riegersburg, lo Schloßberg fu l'unica fortificazione della regione che non cadde mai in mano ai turchi ottomani. Graz ospita l'armeria provinciale della regione, che rappresenta la più grande collezione storica di armi barocche al mondo. È stato conservato dal 1551 e espone oltre 30.000 oggetti.
Fin dalla prima parte del XV secolo Graz fu la residenza del ramo cadetto degli Asburgo, che nel 1619 salì al trono imperiale nella persona dell'imperatore Ferdinando II, che trasferì la capitale a Vienna. Alla fine del XVI secolo sullo Schlossberg furono costruite nuove fortificazioni. L'esercito di Napoleone occupò Graz nel 1797. Nel 1809 la città resistette ad un altro assalto da parte dell'esercito francese. Durante questo attacco, al comandante della fortezza fu ordinato di difenderla con circa 900 uomini contro l'esercito di Napoleone di circa 3.000 uomini. Difese con successo lo Schloßberg da otto attacchi, ma furono costretti ad arrendersi dopo che la Grande Armée occupò Vienna e l'Imperatore ordinò la resa. Dopo la sconfitta dell'Austria da parte delle forze napoleoniche nella battaglia di Wagram nel 1809, le fortificazioni furono demolite utilizzando esplosivi, come previsto dalla pace di Schönbrunn dello stesso anno. Il campanile e la torre dell'orologio civico, spesso usati come simbolo di Graz, furono risparmiati dopo che i grazesi pagarono un riscatto per la loro conservazione.
