A valamivel korábban elkészült Dohány utcai zsinagóga, amely a világon a legnagyobb volt a maga háromezer férőhelyével, sokaknak nem tetszett. A hívők szerint a katedrálishoz hasonló, hatalmas épület eltávolodott a hagyományoktól, és ezért alkalmatlan volt az intim szertartásokra, a nem zsidók pedig hivalkodónak tartották. Így született meg 1868-ban egy kisebb és visszafogottabb zsinagóga megépítésének az ötlete a pesti Rumbach utcában.

Már az épület elhelyezkedése, fekvése is jóval szerényebb, mint a Dohány utcai zsinagógáé: még az is előfordulhat, hogy a figyelmetlen gyalogos elsétál mellette a szűk utcában. Ahhoz, hogy a járókelő észrevegye a homlokzatot díszítő, minaretszerű tornyokat, valósággal ki kell tekerni a nyakát. Ha azonban elég magasra emeljük a tekintetünket, akkor láthatjuk, hogy bár a XIX. században egyre-másra épülő magyarországi zsinagógák szinte mindegyike magán viseli a mór stílus jegyeit, ebben a tekintetben kiemelkedik közülük a Rumbach utcai épület.

Otto Wagner osztrák építész az 1860-as évek végén, mindössze 27 esztendős korában kapta a felkérést. Ez volt az első jelentős középülete, és a tervei igazán korszerűek, modernek voltak. A Rumbach zsinagógával túllépett a neoreneszánsz stíluson, és a nyolcszögletű alaprajz a bizánci hagyományokra utalt. Azzal, hogy középen helyezte el a tóraolvasó emelvényt, visszatért a szokásos belső elrendezéshez. Az építkezés két éven át tartott, és ezúttal a szokottnál jobb minőségű anyagokat használtak. Ebből a szempontból is érdekes a különleges, öntöttvasból készült kupolaszerkezet.

A zsinagógát 1872-ben adták át, és az épület sorsa hasonlóan alakult az azt használó emberek sorsával. Közel hetven éven át imahely volt, de 1941-től a magyar hatóságok zsidókat tartottak fogva itt és az udvarán. Három évvel később a bejárattól pár méterre húzták fel a pesti nagy gettó palánkját, és bár a zsinagógából szükségkórház lett, az istentiszteleteket még ezekben a szörnyű időkben is megtartották.

A világháború befejezése után, 1947-ben újraavatták a zsinagógát, de alig tíz év elteltével az épületet életveszélyesnek nyilvánították. A hitközség eleinte raktárnak használta a helyet, majd 1988-ban az új tulajdonos konferenciaközpontot akart csinálni belőle. Ennek jegyében teljesen szétverték az épület belsejét, és eltüntették a szakrális jegyeket.

A rendszerváltás után a cég tönkrement, a munka leállt, az épület pedig tovább pusztult. A 2005-ben újra tulajdonossá váló zsidó közösség úgy döntött, hogy egyrészt helyre kell állítani a zsinagóga klasszikus rituális funkcióját, másrészt egy múzeumot is ki kell alakítani benne. A tárlat a Politzer család háromszáz éves történetén keresztül idézi fel a magyarországi zsidók történetét. A műemléki felújításon átesett épület ünnepélyes átadása 2021 nyarán volt.

A szűk utcát, amelyben a zsinagóga áll, egy Terézvárosban praktizáló orvosról nevezték el. Rumbach (eredetileg Rombach) Sebestyén azért volt népszerű, mert a szegény betegeket ingyen gyógyította, és nem fogadott el tiszteletdíjat a katonai kórházaktól, valamint ő alapította a főváros első gyógyfürdőjét.