El asentamiento más antiguo en la actual ciudad de Graz se remonta a la Edad del Cobre. Sin embargo, no existe una continuidad histórica de un asentamiento anterior a la Edad Media.
Durante el siglo XII, los duques de Babenberg convirtieron la ciudad en un importante centro comercial. Más tarde, Graz quedó bajo el dominio de los Habsburgo y en 1281 obtuvo privilegios especiales del rey Rodolfo I.
En el siglo XIV, Graz se convirtió en la ciudad de residencia de la línea de los Habsburgo del interior de Austria. La realeza vivía en el castillo de Schloßberg y desde allí gobernaba Estiria, Carintia, la mayor parte de la actual Eslovenia y partes de Italia (Carniola, Gorizia y Gradisca, Trieste).
En el siglo XVI, el diseño y la planificación de la ciudad estuvieron controlados principalmente por arquitectos y artistas del Renacimiento italiano. Uno de los edificios más famosos construidos con este estilo es el Landhaus, diseñado por Domenico dell'Allio y utilizado por los gobernantes locales como sede gubernamental.
Graz se encuentra en Estiria, o se llama "Steiermark" en alemán. Mark es una antigua palabra alemana que indica una gran superficie de tierra utilizada como frontera defensiva, en la que se enseña a los campesinos cómo organizarse y luchar en caso de una invasión. Con una ubicación estratégica en la cabecera del abierto y fértil valle de Mur, Graz fue atacada a menudo (sin éxito), por ejemplo por los húngaros bajo el mando de Matías Corvino en 1481, y por los turcos otomanos en 1529 y 1532. Además de Riegersburg, el Schloßberg Fue la única fortificación de la región que nunca cayó en manos de los turcos otomanos. Graz alberga la armería provincial de la región, que es la colección histórica de armamento barroco más grande del mundo. Se conserva desde 1551 y muestra más de 30.000 artículos.
Desde principios del siglo XV, Graz fue la residencia de la rama más joven de los Habsburgo, que ascendió al trono imperial en 1619 en la persona del emperador Fernando II, quien trasladó la capital a Viena. A finales del siglo XVI se construyeron nuevas fortificaciones en Schlossberg. El ejército de Napoleón ocupó Graz en 1797. En 1809 la ciudad resistió otro asalto del ejército francés. Durante este ataque, se ordenó al oficial al mando de la fortaleza que la defendiera con unos 900 hombres contra el ejército de Napoleón de unos 3.000. Defendió con éxito el Schloßberg contra ocho ataques, pero se vieron obligados a rendirse después de que la Grande Armée ocupó Viena y el Emperador ordenó rendirse. Tras la derrota de Austria por las fuerzas napoleónicas en la batalla de Wagram en 1809, las fortificaciones fueron demolidas con explosivos, tal como se estipulaba en la Paz de Schönbrunn del mismo año. El campanario y la torre del reloj cívico, a menudo utilizados como símbolo de Graz, se salvaron después de que los habitantes de Graz pagaron un rescate por su conservación.
