舜江樓初建於元代至元元年（1335），由余姚州判葉恒設計，民間稱其為“鼓樓”。明清兩代，舜江樓因災毀而多次重建。現存建築為清光緒十壹年（1885）重建，樓上置銅鐘兼作報時和火災報警之用。1985年，舜江樓又經歷了壹次大修，由書法家沙孟海先生題寫“舜江樓”匾額。1995年4月，舜江樓被余姚市委、市政府命名為首批愛國主義教育基地之壹，2011年被列為浙江省省級文物保護單位。