Um 1917 war die Kapazität der Abteilungen I-III erschöpft, und der Architekt Carl Sackermann wurde mit der Erschließung des restlichen Areals beauftragt. Durch den Krieg kam die Arbeit ins Stocken und musste später beschleunigt werden, sodass es zwischen den Abteilungen IV und V keine eindeutige Trennwand mehr gibt, was die Orientierung für Unkundige erschwert.

Mit der Erschließung der Abteilungen IV und V gab man die traditionelle Zählung auf – wohl eine Konzession des liberalen Judentums jener Zeit an landesübliche Normen. Die Reihenzählung verläuft nun von Süd nach Nord ansteigend, und die Grabstellen werden von links nach rechts und zum Ende hin ansteigend gezählt. Einzig beibehalten wurde die Unterscheidung in gerade Grabnummern rechts und ungerade links.

Abteilung IV weist als erste einen beidseits mit Gräbern gesäumten Weg längs der Mauer zum Nordfriedhof auf, der sich auch durch die Abteilung V fortsetzt.

Die rechte Seite der Abteilung wird beherrscht von einem „Kriegerdenkmal“ für die 121 im Ersten Weltkrieg gefallenen Gemeindemitglieder, das durch den jüdischen Architekten Wilhelm Haller geschaffen und nach diversen Verzögerungen am 6. Juni 1926 eingeweiht wurde. Die Giebelwand mit den Namen der Gefallenen wird gesäumt von zwei Fackeln und zwei ruhenden Löwen. Die Rückseite ziert eine siebenarmige Menora. „Im Areal des Hains stehen 18 Steine. Der Zahl 18 kommt in der jüdischen Mystik eine große Bedeutung zu, besonders als Zahlenname ,chaj‘ = lebend).“ Links und rechts des eigentlichen „Ehrenhains“ schließen sich je zwei einander zugewandte Reihen von Familiengrabstellen an.

Wilhelm Haller hatte auch die monumentale Feierhalle vorm Neuen Friedhof an der Delitzscher Straße entworfen, die am 10. November 1938 von Angehörigen des NSKraftfahrkorps in Brand gesteckt und später auf Anordung der NSDAP-Kreisleitung gesprengt wurde. Da somit auf diesem Friedhof keine Beerdigungen mehr stattfinden konnten, musste auf behördliche Anordnung von 1940-1945 wieder auf den Alten Israelitischen Friedhof zurückgegriffen werden.

Haller zeichnete zudem für einige Grabmäler im Art décoStil verantwortlich, u.a. für die Anlage der Familien Fein und Klein an der Wand zum Nordfriedhof (Nr. 18).

Insgesamt enthält die 4. Abteilung 725 Grabstellen.