Die Grundmauern des Palais gehen wahrscheinlich auf den Anfang des 17. Jahrhunderts zurück.
Hier befand sich der einst Kuhstall, aus dem die Milch für den kaiserlichen Hof kam.

Das frühbarocke Palais entstand zwischen 1664 und 1671 für Wilhelm Edlen von Walterskirchen. Später, 1723, wurde das Portal hinzugefügt.

Die Eisenblechtüren im durchgängig genutetem Erdgeschoss entstanden 1850, von Anton Ölzelt.

Da das Palais aus einem älteren Bau stammt, ist es nicht symmetrisch: das Portal rechts und nicht mittig angelegt.