Abteilung II umfasst zwei Gräberfelder links und rechts des Hauptweges mit jeweils 22 vollständigen Grabreihen und 793 Grabstellen. Die traditionelle Zählung beginnt – wie in Abt. I – rechts als auch links jeweils am rechten Ende der Reihe 1 und verläuft gegen den Uhrzeigersinn in Richtung Eingang bis zum linken Ende der Reihe 22.

Unsere Zählung verläuft zwar ebenfalls von rechts nach links, zählt aber – der besseren Orientierung wegen – immer nur die Steine bzw. Grabstellen pro Reihe.

Die Familiengrabanlagen bzw. Ehren- und Erbbegräbnisse sind durchgängig nummeriert, obwohl sich an der Westseite keine Gräber befinden. Die Gräber 1 bis 22 bilden die Wand zum benachbarten Friedhof, die Gräber 23 bis 33 die Trennwand zur Abteilung III und Nr. 34 bis 43 jene zur Abteilung I. Insgesamt gibt es 150 Grabstellen.

Im Gegensatz zur 1. Abteilung lässt sich der übergroße Teil der Grabstellen namentlich belegen, auch wenn die Steine selber verwittert sind oder gar fehlen.

Die mit einem Stern versehenen Grabstellen verweisen auf sogenannte Nummern- oder Markierungssteine, die einen nicht mehr vorhandenen Grabstein ersetzen.

Bedeutende Grabstellen sind die Wandgräber der Familien Goldschmidt (Nr. 27), Kroch (Nr. 31), Ariowitsch (Nr. 33) und Harmelin (Nr. 34).