清同治四年（1865），邑人原陜西巡撫劉典倡建于寧鄉水云山下。三面環(huán)山，佳木蔥蘢，綠野擴展，溈水流逕，步云橋橫跨其上。“山水之勝，無(wú)殊岳麓”，“齋舍之制，全效城南”。當時(shí)有步云橋、總會(huì )門(mén)、東西五門(mén)、講堂、崇道堂、希賢堂、先賢堂、仰極臺、凌云亭、奎光閣、文昌閣、藏書(shū)樓、東西八齋等建筑，可容徒160人。辟有鑒泉印月、奎閣凌云、云寺鐘聲等10景。云山書(shū)院是縣以下的書(shū)院，相當于鄉學(xué)一類(lèi)初級教育機構，曾提出“修書(shū)院，廣育嬰”的宗旨，便于鄉民子弟就讀。“東西八齋，齋舍十間，可容徒百六十人”，比一般鄉學(xué)規模要大。“經(jīng)費多來(lái)源于鄉紳捐助，士紳捐置田產(chǎn)668畝，年收租1300余石。以培養“處為大儒，出為良佐”之才為宗旨。山長(cháng)為士林楷模，秘擇本邑宿學(xué)名儒”；對學(xué)生要求“貴博學(xué)、審問(wèn)、慎思，明辯以析其理，篤行以踐其慎”。書(shū)院創(chuàng )辦后，受維新變法影響，教學(xué)內容開(kāi)始加入自然科學(xué)和社會(huì )科學(xué)知識課程，一度成為寧鄉新文化運動(dòng)中心。光緒二十八年（1902）改為高等小學(xué)堂。有《寧鄉云山書(shū)院志》傳世。

現校內存有劉典寫(xiě)的“倡建云山書(shū)院碑”。碑高1.85米，寬0.8米，為青石陰刻。學(xué)校正房前楹有謝覺(jué)哉題寫(xiě)的“云山完小”4個(gè)大字，校周?chē)型趿璨ā⒅x覺(jué)哉種植的“黃金樹(shù)”等樹(shù)木，山清水綠，風(fēng)景優(yōu)美。清朝政府廢除科舉制度后，云山書(shū)院改為高等小學(xué)堂，推民主革命前輩文經(jīng)酉擔任堂長(cháng)。學(xué)堂附設半日制學(xué)習班，開(kāi)業(yè)余教育之先河。1909年春以后，“寧鄉四髯”何叔衡、姜夢(mèng)周、謝覺(jué)哉、王凌波先后在這里任教或擔任校長(cháng)，同時(shí)有寧鄉農運先輩梅冶成和進(jìn)步人士喻棣芳、歐陽(yáng)健、王一凡、許抱凡、林若虛、夏元彬以及20世紀30年代末在寧鄉革命斗爭中英勇殉難的李甲農等，在云山學(xué)校大力提倡科學(xué)與民主和勞動(dòng)教育，積極宣傳馬克思列寧主義，進(jìn)行反帝反封建的愛(ài)國主義教育。他們不僅使云山學(xué)校成為“五四”前后寧鄉新文化運動(dòng)的中心，而且成了寧鄉人民的革命搖籃，為我國新民主主義的革命運動(dòng)培養了大批人才，如甘泗淇、蕭述凡、謝南嶺、尹澍濤、喻東聲、胡輝、余喜文、林萼生、嚴岳喬等俊杰，在中國人民的革命斗爭中作出了巨大的貢獻。

1917年7月，毛澤東來(lái)寧鄉作農村調查時(shí)。曾在云山住過(guò)；1921年，何叔衡參加“一大”回湘后，偕謝覺(jué)哉來(lái)寧鄉，在云山進(jìn)行革命講演；同年冬，王凌波在這里辦全縣教師講習所，傳播革命道理。新中國成立后，云山書(shū)院被列為省級文物保護單位。