祁家村位于丘陵地帶。沿著(zhù)溪坑公路，有座拱形小橋，小溪流水潺潺，旁依一條彎彎小路。祁家宅院建筑坐北朝南，據史料記載，此宅總占地面積1990平方米。大院前，立著(zhù)一間炮樓，正面有兩個(gè)一圓一方的炮洞，炮樓用淺紅色的條石鑿砌而成，堅不可摧的樣子。整個(gè)建筑前后兩進(jìn)，內有天井、回廊、串樓、廂房、--、花園。

整個(gè)建筑前后兩進(jìn)，內有天井、回廊、串樓、廂房、--、花園。青瓦粉墻的小樓彼此相連，飛檐翹角的正門(mén)高聳在正中。站在正門(mén)前仰頭細觀(guān)，額題已模糊不清，東、西門(mén)的題額分別為“樓枕嶼山”和“門(mén)迎湫水”的兩幅字。正門(mén)對面的圍墻上鑲嵌著(zhù)一塊天然奇石“星月石”，暗紅色的蛇蟠石中間一塊渾圓的白圈，仿若滿(mǎn)天寒星簇擁著(zhù)一輪皎潔的月亮，側邊長(cháng)長(cháng)一道是遙遠的銀河，寓意“如月中天”。

主樓為傳統木結構四合院，硬山頂穿斗式磚木結構，二層七開(kāi)間帶一弄，明間梁架五柱七檁，中柱落地帶前后雙步和前后廊，次間同明間。庭院開(kāi)闊，平鋪石板，左角有一水井。左右為兩層廂房，硬山頂梁架穿斗結構。其后則是狹長(cháng)的大跨院，稱(chēng)后院，也稱(chēng)小姐樓，名曰“順雨樓”。向左、右各行十幾步，可以穿過(guò)小門(mén)，進(jìn)入主樓兩邊的廂房。廂房有九個(gè)明堂，九個(gè)跨院，門(mén)上方亦各有扇形字刻，一字一句，散發(fā)著(zhù)濃郁的耕讀傳家文化思想，承載著(zhù)悠悠的古趣詩(shī)韻。廂房前也有狹長(cháng)的大跨院，供長(cháng)工、傭人居住。在后院的兩側各建有耳房，用墻與小姐樓隔開(kāi)。最后面是花園，依稀可見(jiàn)往日花木錦簇、盆景迥異的情形。

整個(gè)建筑群落布局嚴謹，圍墻高聳，氣勢恢宏，顯得穩實(shí)牢固，封閉性極強，是一個(gè)安全、寧靜、舒適的居住處所。建筑四周筑有高高圍墻和影壁，東南角建有炮樓，呈方形，攢尖式頂，高近十米，四周建有瞭望孔和射擊孔，如警惕的眼睛，炯炯有神。建筑的整體設計，可感受到明顯的防衛意識，這不但證明了它是一座自衛式的民宅，從一個(gè)側面反映出清晚期至民國初年社會(huì )處于動(dòng)蕩的狀態(tài)。

土改時(shí)，祁文豹故居被分給祁家后人及當地百姓居住。不久，當時(shí)的葛岙鄉人民政府把主樓作為政府辦公場(chǎng)所；現在它成了海游鎮葛岙片的辦公用房。

祁文豹故居建筑，薈萃了浙東古代民間建筑的基本風(fēng)格，展現了浙東晚清古建筑中的特色。整個(gè)建筑既有遍及南方民宅中的馬頭墻，又有建在前后瓦檐上的騎瓦風(fēng)火墻；既有一進(jìn)兩廂的結構，又有庭園式、院墻式等風(fēng)格迥異的居屋。建筑構件中的枋檁雀替，藻井花窗，雕刻有寓意吉祥如意的鰲魚(yú)、蝙蝠、麒麟、奔鹿、走獸，以及栩栩如生的人物造型，宅院中的雕花石磉子、雕花窗、彩繪、升斗等再現了當時(shí)高超的技藝。宅院內融灰雕、石雕、木雕藝術(shù)于一體，表現了當時(shí)藝人非凡的繪畫(huà)、雕刻技藝。