臺兒莊運河在明萬(wàn)歷年間修通后，臺兒莊遂成南北漕運咽喉要塞，于是“商賈輻輳”，其中不少是外來(lái)的回教徒。為有一個(gè)禮拜之處，他們便在臺兒莊城東門(mén)里修建了一座小型的清真寺。清朝初年，漕運的繁榮帶來(lái)了臺兒莊的興盛，“商旅所萃，居民饒給，村鎮之大，甲于一邑，俗稱(chēng)天下第一莊”，在臺兒莊定居的回族客商越來(lái)越多，原來(lái)的清真寺已不能滿(mǎn)足其朝拜之需要。時(shí)至清乾隆年間，阿訇李中和倡議重修清真寺，以發(fā)揚光大伊斯蘭教。據寺前石碑記載：“李中和拋卻浮屠，純講救理。南走蜀閩，北走豫燕，蓄款數年，功成一旦。”重修后的臺兒莊清真寺，位于臺城大北門(mén)內的郁記花園舊址，占地38畝。臺兒莊清真寺寺院前大門(mén)向東，過(guò)廳5間，南北講堂各5間，東西小講堂各3間，西水房3間，大殿25間。后大門(mén)向西，門(mén)樓兩旁有大理石紫花石鼓一對，光彩照人。院內蒼松翠柏，花草葳蕤，清雅宜人。清朝末年，又將南講堂改建成大門(mén)樓，大門(mén)改為面南，“清真古寺”的門(mén)額也換成了“回教堂”。據考，清真寺大都大門(mén)朝東，朝向伊斯蘭圣城耶路撒冷所在的方向，唯有臺兒莊清真寺面南。時(shí)至民國初年，阿訇陳性真和鄉老馬振堂先后2次募款修繕，古寺樓堂玉宇，頗為壯觀(guān)，蜚聲魯南蘇北，禮拜教民紛至沓來(lái)，一時(shí)門(mén)庭若市。

然而，兵燹之災卻將它毀于一旦。1938年春，中日臺兒莊大戰爆發(fā)。臺兒莊清真寺建筑高大堅固，而且偏據北城，距火線(xiàn)最近，我守軍186團將指揮所設置于此，遂為中日雙方爭奪的焦點(diǎn)。歷經(jīng)七天七夜的拉鋸爭奪，臺兒莊清真寺淪為焦土，斷壁殘垣上的尸山血河，凝固成極為慘烈的悲壯畫(huà)卷。四株古柏，有兩株化為灰燼。幸存的兩株也燒損過(guò)半，其中西側那株主枝缺損，干枯龜裂，煎熬60多年之后死亡，于今只成枯干，依舊傲然立于堂前。另一株雖彈痕斑駁，卻頑強生長(cháng)，依然枝繁葉茂。西小講堂彈痕累累，其彈痕特別密集的80平方厘米之磚墻，已于1988年10月被中國革命歷史博物館移去陳列。

臺兒莊大戰后，鄉老馬振堂向臺兒莊十幾家糧行募捐，于1942年重修了臺兒莊清真寺。除恢復原建筑外，又新建了一座高28米的望月樓。望月樓瓷磚綠瓦，翹檐走廊，四面展角，雕梁畫(huà)棟，好不氣派，為當時(shí)臺兒莊最高建筑物。但是，這些建筑在“文革”十年中慘遭浩劫，復又陷于破敗窘境之中。

黨的十一屆三中全會(huì )后，黨的民族宗教政策如雨后春風(fēng)，讓清真古寺再度煥發(fā)了青春。1983年，區政府斥資5萬(wàn)元，回族群眾捐資3.5萬(wàn)元，按原樣重修臺兒莊清真寺大殿。該殿建筑面積120平方米，琉瓦紅墻，金碧輝煌，具有鮮明的民族色彩。此后，區政府又撥款修建了院墻和水房、門(mén)樓以及門(mén)外場(chǎng)地，原來(lái)的“回教堂”又換成了“清真古寺”門(mén)額。重修望月樓，耗資50萬(wàn)，

2006年大功告成。重建的望月樓為7層建筑共28米高，巍峨聳立的飛檐走壁，為古色古香的臺兒莊清真寺平添幾分清幽壯麗。與此同時(shí)，在城區南部也修復了古有的清真南寺。方便了伊斯蘭教眾的宗教生活。

在臺兒莊清真寺重建、修建、改建的一系列工程中，臺兒莊區始終注重保存當年臺兒莊大戰的風(fēng)物見(jiàn)證，那斑斑駁駁的墻壁及其密實(shí)的彈洞，半枯半榮的古柏及其軀干內殘存的彈頭，每天都在無(wú)言地吟誦著(zhù)當年慘烈的慷慨悲歌，向世人昭示著(zhù)中華民族威武不屈的精神和侵略者失敗的必定結局。