Der älteste Bauteil, heute als Alte Staatsgalerie bezeichnet, wurde 1843 als Museum der bildenden Künste eröffnet. Architekt war Gottlob Georg von Barth, Oberbaurat im Finanzministerium des Königreichs Württemberg.

In dieser klassizistischen Dreiflügelanlage war neben den Kunstsammlungen auch die königliche Kunstschule untergebracht. Das Gebäude wurde 1881 bis 1888 nach Plänen Albert von Boks um zwei rückwärtige Flügel erweitert.