Seit es in Grebenstein Juden gab es auch jüdische Lehrer. Der Unterricht wurde im Gebetshaus gehalten. Die jüdische Elementarschule bestand seit 1831. Die jüdische Gemeinde kaufte das Haus des Schmied Wilhelm Persch als Synagoge und Schule an. Das Gebäude steht auf dem Platz, den später die neue Synagoge einnehmen sollte.

1835 wird Isidor Sommer als Lehrer genannt, der aber nach Hofgeismar ging. Um 1868 war Jacob Plaut Lehrer. 1877 besuchten die jüdischen Kinder vorübergehend die Stadtschule gemeinsam mit denen der anderen Konfessionen. Die Schule wurde aber dann unter Lehrer Heinemann Plaut mit 20 Kindern wiedereröffnet. Seit Erbauung der neuen Synagoge 1895 fand der Unterricht dort statt.

Ende des 19. Jahrhundert nahm die jüdische Bevölkerung aber dermaßen ab, daß an eine Schließung der Schule gedacht wurde. Dies wurde schließlich auf Antrag der Immenhäuser und Holzhäuser Juden, die Beiträge zur Grebensteiner Schule leisten mußten, durch eine ministerielle Verfügung verwirklicht. Die letzten sechs Schüler besuchten ab Ostern 1912 die Stadtschule und der letzte Religionslehrer Sebaldus Müller erhielt die Erlaubnis an der Stadtschule zu unterrichten, da er sich auf die praktischen Prüfung vorbereitete. Nach bestandener Prüfung am 26. Juni 1915 wurde er zum Militär eingezogen.