兄弟倆死後，房子轉手了五次。在太平天國時期，它也被用作國王的宮殿。後來被清軍占領，設置為軍事機關。
鹹豐二年(1852)，雲貴巡撫吳鎮晚年退休後，從孫家手中買下此宅，擴建為壹座南北長108米、東西寬67米的封閉式大庭院，占地5700余平方米。此後，吳宅之名流傳至今，吳氏子孫也居住於此。
這座江南大宅的完整，讓它成為很多研究中國古建築的學者習慣引用的經典案例。
五寨在文革中遭到嚴重破壞。百年以上的花木和明代楠木雕刻“五福的生日”都被毀壞了。30多間房子都拆了，只剩下大廳二廳。西邊的院子變成了五金加工廠和食堂。這所房子壹夜之間被各種居民占據，吳家的後代從此與那四五十戶人家住在壹起。
四五十戶人家在劈柴生火，食用油，鹽，醬，醋，雞，狗。原來放雜物的二樓也被人占了，還搭了個煤爐。因此，杭州市文物保護單位五寨，以木結構為主，成為“杭州十大火災隱患”之壹。