樓外樓的創始人叫洪瑞堂，是壹位從紹興來杭謀生的落第文人。他與妻子陶氏秀英自雙親亡故後由紹興東湖遷至錢塘，定居在孤山腳下的西泠橋畔，以劃船捕魚謀生——因夫妻雙雙是從魚米之鄉的紹興而來，在烹制鮮魚活蝦方面有壹技之長。 樓外樓先是捕魚蝦選佳者烹制出售，後來想到西泠橋壹帶無飲食店，便在略有積蓄之後開了壹片規模較小的菜館。他從南宋詩人林升的詩中取了三個字，把自己的小店取名為“樓外樓”。
剛開始的樓外樓 “僅是壹處平房”，是壹間很不起眼的湖畔小店。但由於店主人善於經營，又烹制得壹手以湖鮮為主的好菜，特別是他很重視與文人交往，使得在杭及來杭的文人雅士把來樓外樓小酌，作為遊湖時的首選，因此，生意日益興隆，名聲逐漸遠播。