祭祀一忠一孝的文昌廟與關(guān)帝廟是古代舉行隆重大典的地方。安仁縣的文昌廟始建于宋建炎年間（1127—1130年），知縣汪杞建學(xué)宮于縣東育才坊（今余江二中所在地），元朝邑人王溥又建“大成殿”，創(chuàng )建了“明倫堂”。明清兩朝，幾經(jīng)廢興。清同治八年（1869年），代縣令姚迥和后任知縣朱潼發(fā)起鄉紳大加修建，此時(shí)的文廟（孔廟）由興賢門(mén)拾級而上，依次為欞（靈）星門(mén)、泮池、大成門(mén)、大成殿、崇圣祠，并把文昌宮和明倫堂連接起來(lái)，東西兩排小屋分別為名官、鄉賢、忠義、節孝四祠。新建“魁星閣”于孔廟東邊，各殿漆以紅漆，金碧輝煌，畫(huà)龍雕棟，檐桷拱飛，氣勢雄偉，與巍巍的文廟珠壁相輝，與挹仙亭遙相對峙，頗為壯觀(guān)。安仁文廟，面水背山，大有虎踞龍盤(pán)之勢，廟中遍植古槐，綠樹(shù)成蔭，郁郁蔥蔥。道光五年（1825年）正月十四日，颶風(fēng)自正西吹來(lái)，山陵大樹(shù)連根拔起，孔廟部分建筑首當其沖，庭中古槐被吹倒，知縣陳公會(huì )同鄉紳捐資修復，并將古槐扶植于原穴，精心培育，次年又吐出新葉，這棵千年古槐至今仍有凌宵參天之勢。民國時(shí)期，安仁文廟一直作為學(xué)堂之用，解放后，為余江中學(xué)（后改名為余江二中）辦公用房，1977年，將文廟大成殿改造成二層辦公樓，殿基及窗臺下維持原貌。