臺山古名覆盆山，又名螺浮山，更名磨盤山。山頂平圓如月，有七座小丘環之，昔人稱為七星拱月。中臺山前眺星雲湖，後望七星塔，螺殼重疊，四周平坦，中間崛起，古樹參天，風景秀麗。
清順治元年（1644），我國河南壹帶的和尚十多人化齋路過臺山，看臺山風光秀麗，地形獨特，是發展佛教的寶地，便決定在此建寺拜佛。他們化齋積錢，買木請工，建造了臺山寺的後殿（三星殿）和兩側的豬神殿、財神殿、東嶽殿、地藏殿，供和尚們念佛和食宿之用。後來和尚逐漸增多，占據了整座螺浮山。
康熙三十三年（1694），重修了臺山寺，並在地藏殿旁邊建起正殿三間，為活佛殿。正殿檐前回廊中，左右豎有石龍柱兩棵。
光緒十八年（1892），漁村李樸山在外考中舉人，隨後當了知縣。回鄉探祖時，召集漁村官府和民眾，將外地和尚全部趕走。漁村官府用公田收入相繼增蓋了二殿（觀音殿）和三殿（樓上為孔子殿，樓下為明倫堂）及其兩側廂房，建造了花園，在後殿（三殿）辦起了佛堂，由漁村付鼎川主講佛經。現存臺山書院匾額為光緒二十壹年（1895），雲南省提學使高釗中（河南項城人）所書。這是利用臺山寺寺產辦書院的證據。
光緒二十二年（1896）又增建了臺山寺前殿和兩側廂房各三間，中間為院落。這樣，整座臺山寺形成了正殿四座，偏殿五座，廂房26間，大小院落五院的建築格局。
臺山寺裏曾辦過佛堂、書院、學堂、高等小學、中心小學，培養出許多能人誌士，如作詩壹千兩千三四千，華國文章蓋世間。若問解元居何處，壹支文筆插江邊的解元萬華；筆勢古樸蒼勁，雄健磅礴，飄若流雲，活若蛟龍，獲巴拿馬世界草書大賽第二名的書法家楊嘉善；顏柳兼顧，別具風格的楷書家付恩榮以及書法繪畫造詣頗深的現代書畫家普文治等，均求學並畢業於臺山書院。
昔日臺山書院古樹參天，匾額對聯（現存楊嘉善匾南海岸）琳瑯滿目，百鳥爭鳴，鷺鷥成群。歷經滄桑的臺山書院，今古樹雖稀仍參天，但白鷺已無影，名聯也無蹤。值得告慰人們的是，自1983年江川縣職業中學在臺山開辦以後，臺山四周已打起了圍墻，對臺山書院采取了嚴格的保護措施。對臺山寺壹殿進行了重修，對已是危房的二殿、三殿及兩側廂房拆除後重建了二殿和兩邊廂房。對現存的各類古樹作了盡可能的保護。多年來，職中師生對整座臺山寺逐年進行了綠化美化。登上臺山，雖再看不到昔日的螺浮山舊貌，但仍可領略到雙龍毓秀，百草鐘靈的風采。新種植的櫻花、垂柳、雪松、柏樹、草坪為古老的書院增添了幾多秀色。臺山書院已列為縣級文物保護單位，成為江川的旅遊景點之壹。
附：臺山書院名聯詩文
中臺山名聯：
（1）臺下有星皆拱月，山上無樹不參天。周學葵（江川小街人）
（2）雙龍鐘靈溯山川人物已占江邑十分五，兩鄉同賽會祠上下神***樂花朝二月三。李仕珍（江川漁村人）
螺浮山詩文：
（壹）螺浮山體圓如月，培樓旁羅七個星，人道飛泉如散綺，壹湖芳草正青青。（二）古樹臺山可蔔秋，奇蹤自昔紀江州，可憐如意橋旁水，剩有村莊道姓侯。
磨盤山長聯：磨盤自半天飛來，除卻三山，總算神功巧妙，看前橫滄海，後枕流沙，縱教蜃市幻成，也無此色色形形，奇奇怪怪，我輩攀高憑眺，趁風力手撥雲開，莫辜負壹月當中，七星拱月。臺閣從平地托出，才歸五嶽，又見氣象堂皇，喜古號覆盆，今誇廣廈，況是螺髻聳起，原有些重重叠叠，整整齊齊，誰家選勝登臨，洗水光眼空塵界，好領略雙龍毓秀，百草鐘靈。李仕珍（漁村人）