Der Adelssitz wurde 1700 von einem unbekannten Architekten für Karl August von Damian (1652 - 1726) erbaut und bestand ursprünglich nur aus de heutigen Mitteltrakt, besaß offene Arkaden, sowie ein flaches Dach.

Nach dem Tod von Damian 1726 kam es zu mehrmaligen Besitzerwechsel.
Der Bau wurde 1774 von Matthias Gerl durch den Anbau von Seitenflügeln, die einen kleinen Straßenhof bilden, erweitert, ab 1785 wurde es vermietet.

Einer der ersten Mieter war Karl Abraham Wetzlar von Plankenstern (1715 Offenbach/Main - 1799 Wien).

Er war eine der bemerkenswertesten Persönlichkeiten der damaligen Zeit. Wetzlar kam angeblich bettelarm nach Wien, verstand es jedoch, zuerst als Mitabrbeiter des Bankiers Simon Wolf Oppenheimer und dann durch eigene Geschäfte ein beträchtliches Vermögen zu erwerben.

Man nannte ihn den "Millionenjuden". Durch Kreditvermittlung und günstige Lieferung für das Heer machte er sich den Habsburgern nützlich.
Vor allem zu Franz Stefan hatte er engste Beziehungen. 1763 wurde er zum kaiserlichen Hofagenten ernannte. Nach seinem Übertritt zum Christentum, 1776, wurde er zum Freiherrn geadelt.

Später war das Palais an Moritz Szeps, den Herausgeber des Neuen Wiener Tagblatts vermietet, sowie an Dr. Theodor Hertzka, Gründer der Neuen Freien Presse.

Die Chefs der damals bedeutendsten Zeitungen des deutschen Sprachraums wohnten somit einige Jahre unter einem Dach. Moritz Szeps war in enger Freundschaft mit Kronprinz Rudolf verbunden und veröffentlichte in seiner Zeitung Artikel des Thronfolgers, die natürlich anonym erschienen.

Ab 1896 waren in dem Palais Gesandtschaften untergebracht, unter anderem die bayrische.

Und im Jahr 1938 zogen die Wiener Sängerknaben hier ein, nachdem sie vier Jahre im Schloss Wilhelminenberg untergebracht waren, wo sie raus mussten, als die Nazis dort ein Luftüberwachungszentrum mit Flakstellungen und einem Kommandobunker errichteten. Nach dem Zweiten Weltkrieg übersiedelten die Sängerknaben ins Palais Augarten.

Heute ist hier der Sitz des Kriegsopferverbandes.