Seine heutige Gestalt als freistehender Vierflügelbau mit dreizehn Fensterachsen gegen den Minoritenplatz erhielt das Palais Starhemberg erst 1895, als es nach dem Abbruch des Nachbarhauses um drei Achsen nach Westen erweitert wurde. Die neu aufgeführten Fassaden wurden in gänzlicher Angleichung an die bestehende Architektur des Palais ausgeführt; seither steht auch das zuvor asymmetrisch angeordnete Portal in der Mittelachse.

Das Nebenhaus, ein kleines Palais, bestand bereits, als im Jahr 1661 Konrad Balthasar Graf Starhemberg ein Objekt an dieser Stelle erwarb und es durch einen Neubau ersetzen ließ. 1687 ist dieser bereits in fertigem Zustand abgebildet. Im Türkenjahr 1683 war das Palais im Besitz von Ernst Rüdiger Graf Starhemberg, dem Sohn des Bauherrn, der als Stadtkommandant die Verteidigung Wiens gegen die Türken leitete.
Das Starhemberg-Palais zählt neben dem Leopoldinischen Trakt der Hofburg zu den besterhaltenen Architekturwerken des frühen Barocks in Wien. Die monumental, uniform und flächig wirkende Fassade erhält ihre Plastizität durch die schweren, vorspringenden Fensterverdachungen der Hauptgeschosse. Das oberste Mezzaningeschoß ist durch einen stehenden Puttenfries geschmückt, darüber tragen mächtige Konsolen das in den Raum greifende Dach.
Während die Fassade weitgehend unverändert erhalten ist, wurde im Inneren 1784 eine durchgreifende Umgestaltung nach Entwürfen des Architekten Andreas Zach vorgenommen. Die Veränderungen betrafen vor allem den Eingangsbereich, das Treppenhaus, das mit Figuren von Joseph Klieber geschmückt wurde, und die Festräume. Der im Weiß-Gold-Akkord gehaltene Sitzungssaal ist ein bedeutendes Beispiel josephinischer Innenraumgestaltung; die ungemein reichen Deckendekorationen des „Ministerzimmers” und einiger anderer Salons sind auf Wiener Boden einzigartig. Das Palais Starhemberg wurde nach mehrfachem Besitzerwechsel 1871 vom Staat erworben, um das Ministerium für Kultus und Unterricht aufzunehmen, das 1895 die erwähnte Erweiterung durchführen ließ. Heute ist es Sitz der Bundesministerien für Unterricht, Kunst und Sport sowie für Wissenschaft und Forschung.

Quelle Mazakarini:

Bis 1895 standen auf diesem Areal zwei Häuser: Das zehnachsige Palais Starhemberg und das dreiachsige Palais Festetics. Das Palais Starhemberg wurde nach 1661 erbaut. Damals erwarb Konrad Balthasar Starhemberg das Haus, das ursprünglich im Besitz des Christoph Zelking war und damals dem Friedrich von Sonderndorf gehörte, ließ es demolieren und an seiner Stelle von einem unbekannten italienischen Architekten — vermutlich aus Mailand — bis 1678 ein assymmetrisches frühbarockes Palais errichten. Das Nachbarhaus war wohl älter. Vermutlich war damals schon daran gedacht worden, das Nachbarhaus zu beseitigen und das Palais nach Süden um drei Achsen zu erweitern und so einen symmetrischen Bau herzustellen. 1683 war das Palais im Besitz des damaligen Stadtkommandanten und Verteidiger Wiens gegen die Türken, Ernst Rüdiger Graf Starhemberg. Im Familienbesitz blieb es bis zum Ende des 18. Jahrhunderts. 1862 mietete die Österreichische Eisenbahngesellschaft beide Häuser an und verlegte bis 1869 ihren Sitz hierher. Bald nachher wurde das Ministerium für Kultus und Unterricht, das 1848 im Palais Rottal in der Singerstraße begründet worden war, hierher versetzt. Im Zuge der sogenannten Sanierung des Minoritenplatzes wurde das alte Kloster sowie die Häuser um die Kirche demoliert, und damals wurden 1895 die drei südlichen Achsen angebaut und so die Symmetrie des Palais hergestellt. Das Innere des Altbaues wurde 1784 von Andreas Zach und nochmals im 19. Jahrhundert umgestaltet. Im Treppenhaus befinden sich Plastiken von Josef Klieber.
Heute ist das Palais ein homogener Bau mit 13 Achsen. Der Mittelrisalit wird durch das Tor, das von zwei Rustikasäulen gerahmt und von einem Sprengsegmentgiebel nach oben abgeschlossen ist, betont. Die beiden unteren Halbgeschosse sind durch die Rustikagliederung zusammengefasst. Die beiden folgenden Geschosse sind durch Riesenpilaster zusammengefasst und die Fenster werden von schweren Sprengsegmentgiebeln bekrönt, in deren Öffnung jeweils eine Kugel auf einem Podest liegt. Das oberste Geschoß besitzt querrechteckige, kleine Fenster, die von Putten gerahmt sind. Das weit vorspringende Dachgesimse ruht auf schweren, reichlich profilierten Konsolen.
Ebenso ist die Fassade gegen die Bankgasse. Nur das Tor ist weniger betont wie auf dem Minoritenplatz.
Die Fassaden in der Abraham a Sankta-Clara-Gasse und in der Petrarca-Gasse sind genauso verziert und erstrecken sich über je acht Achsen.