善義堂清真寺位于鼓樓街南鵓鴿寺10號。西鄰馬道街、南鄰鐵佛寺街。寺坐西向東。

清咸豐年間西北五省回民起義，遭到左宗棠等人的鎮壓。部分起義群眾陸續遷入開(kāi)封，至同治間已有300余家。這部分移民善于經(jīng)商開(kāi)始大多經(jīng)營(yíng)販馬，所以開(kāi)封人稱(chēng)之為"馬客伙"后來(lái)部分在開(kāi)封經(jīng)營(yíng)商鋪。他們的宗教活動(dòng)原來(lái)在文殊寺，以后因教派不同，就籌劃自建清真寺。為避清廷耳目，仿同鄉會(huì )館之格局，用設義塾名義，呈請當局。祥符縣于同治十三年（1874年）頒發(fā)告示："查該商民等捐資設塾，實(shí)屬善舉，足見(jiàn)仗義疏財，足堪嘉尚，已批準立案辦理。"自此動(dòng)工至光緒十三年（1887年）前后13年始告完工，共用銀19300余兩。共建成"大殿十楹、拜殿七楹、兩廂講堂十楹、西廂學(xué)房六楹、門(mén)房二楹、經(jīng)學(xué)堂十五楹、群房二十九楹、后殿二楹、耳房四楹、三門(mén)五楹、大門(mén)二楹、浴堂十楹、門(mén)面房十九楹、后門(mén)一楹，共房百十六楹"。

善義堂建成后，由于地方士紳的反對，不允許稱(chēng)清真寺，直到光緒二十七年（1901年）慈禧由西安返京，在開(kāi)封停留時(shí)，由其先行官回族馬安良將實(shí)情稟告后，得慈禧親題"清真寺"匾額，才得以正名為善義堂清真寺。

善義堂前為義塾，后列善堂。其義塾常請名師講學(xué)，曾創(chuàng )立河南阿文大學(xué)及阿文教育小班，并教讀四書(shū)、五經(jīng)，培養出不少有學(xué)識的哈里發(fā)，學(xué)成后赴全省及西北地區開(kāi)帳講學(xué)。民國后將義塾部分改為民生小學(xué)，直到1949年學(xué)校才停辦。

善義堂清真寺曾一度改為工廠(chǎng)，1980年才恢復宗教活動(dòng)。