Der Gedanke der Errichtung eines großen kommunalen Zentralfriedhofes für alle Konfessionen beschäftigte die Gemeindeverwaltung der Stadt Wien zum ersten Male im Jahre 1863.

Es war die Zeit, in der die Stadtmauer fiel und der Bau der Ringstrasse begann. Aus allen Teilen der Monarchie strömten die Menschen in die Hauptstadt des Kaiserreiches. Manche, weil sie auf Arbeitssuche waren, andere, weil sie hofften, hier ihr Glück machen zu können.

Die fünf in Wien bestehenden kommunalen Vororte-Friedhöfe (Währinger Friedhof, Schmelzer Friedhof, Hundsturmer Friedhof, Matzleinsdorfer Friedhof, St. Marxer Friedhof) erwiesen sich aufgrund der Bevölkerungszunahme als unzureichend.

So wurde eine Friedhofskommission unter der Leitung von Gemeinderat Dr. Anton Glickh gebildet, welche zunächst die Aufgabe hatte, geeignete Grundstücke für den neu geplanten Zentralfriedhof zu wählen. Er sollte entgegen der herrschenden Windrichtung liegen, also im Südosten der Stadt Wien.

Grundstücksangebote gab es von den Gemeinden Süßenbrunn, Himberg, Rannersdorf und Simmering. Nach geologischen Gutachten (Eduard Suess) war der heutige Standort bald gefunden Für diesen sprachen mehrere Gründe:

Der hohe Sandgehalt des Lößbodens begünstigte eine rasche Verwesung, die darunter steil gegen die Donau abfallenden Schotterlagen gewährleisteten keinen Einfluss auf das Grundwasser.
Auch die Verkehrssituation wurde mit der im Norden liegenden Pressburger Reichsstraße und der im Süden liegenden Eisenbahn für gut befunden.

Die berühmtesten Toten hatte man schon auf den Zentralfriedhof übertragen und ihnen Ehrengräber gewidmet, einige andere Bekanntheiten blieben an Ort und Stelle in den Gedenkhainen.
Die restlichen Verstorbenen hat man exhumiert und am Zentralfriedhof in der Gruppe 37 beigesetzt.

In den 1920er Jahren waren bis auf St. Marx alle Vorortefriedhöfe aufgelöst. St. Marx bildete wegen der kunsthistorisch wertvollen Biedermeiergrabstätten eine Ausnahme und besteht bis heute, wird aber nicht mehr belegt.