據說，明朝弘治年間，方先富擔任歷史系主任時，每天四點起床，洗完手，準備用早餐。沒想到，仆人沒有提出來。當他去廚房時，他看到廚師正焦急地搓著手。原來是廚師起床太晚了，沒來得及做點心。當方先富看到案板上有發酵好的面團時，他急中生智，讓廚師在面團中加入雞蛋和糖，揉勻，做成壹個大蛋糕，放在爐子上烤。過了壹會兒，餅烤好了，方先福用布包好，命令轎夫起床，匆匆趕往朝廷。
方先富來到公堂，見還有時間，就拿了壹塊餅，就著綠茶吃了起來。蛋糕又軟又甜又好吃。同事們聞到蛋糕的味道都咽了口唾沫，現在官員們都靠過來問吃什麽蛋糕。方先富對家鄉有著深深的眷戀，不假思索地說:“這是西樵派”。離開法院後，方先富命令廚師做同樣的事情，做了幾十個大蛋糕，並在第二天帶到法院房間供他的同事享用。同事們邊吃邊稱贊蛋糕好吃，西樵派在朝鮮聞名遐邇。方先富還經常命令廚師為自己烘烤或招待客人。
後來，方先富說他病了，回到了家鄉。他在西樵山設立石泉書院講學10年，並向村民傳授制作糕點的方法。西樵山的好方法和好泉水使西樵派更加美味，而且因為蛋糕的形狀像壹個有花和滿月的滿月，西樵山人用它作為婚禮、家庭訪問和中國新年假期的禮物。
到了清末民初，西樵派最好的制造者是離西樵山不遠的民樂圩的壹家面包店。用它做的西樵派除了香甜軟糯外，還具有夏天上桌10天半不掉刀不掉渣不變質的特點。廣州、佛山的商家紛紛仿制，但色、香、味都比不上正宗的西樵派。