1938 wurde das Palais arisiert und bevor die NSDAP-Kreisleitung einzog, wurde gründlich umgebaut.
Kapitelle und Kannelierung der Säulen verschwanden ebenso wie die sechs großen Amphoren zwischen den Fenstern des dritten Stockwerkes. Auch der gesamte Reliefschmuck wurde heruntergeklopft, selbst die Balkongitter wurden ausgetauscht.
Die Front erhielt drei hohe Tore in der Mitte, von denen eine kurze, aber sehr breite Freitreppe zum Straßenniveau hinterführte.

1945 wurde der Besitz der Familie Pollack restituiert - genaugenommen wurde ihnen ein Trümmerhaufen überlassen, denn 1944 wurde das Palais durch eine Fliegerbombe schwer beschädigt. Ein Wiederaufbau war der Familie unmöglich und sie veräußerte die Liegenschaft.

1958 trat das Bürohaus des Steyr-Daimler-Puch-Konzerns das Erbe auf diesem Baugrundstück an, 2005 wurde es abgerissen.

Die Stadt Wien verkaufte das Grundstück (sehr billig - 1,2 Mio. Euro; wahrer Wert 4 x so hoch) und 2008 stand der Neubau der Oberbank, nun aber 10 Meter weiter vorne!

Das rechts danebenliegende Palais Fanto steht nun im "Eck", aber die Profitgier macht es möglich: durch die Vorrückung gibt es dank der 10 Stockwerke darüber 3000 m² mehr verkaufbare Nutzfläche.
Nur die ebenerdige Passage vor den Schaufenstern gibt einige Quadratmeter Stadtbodens wieder frei.