有壹兒壹女，兒子叫於勤勤，女兒叫於端端。名字的本意是希望他們“勤勤懇懇，堂堂正正”。出身於梨園世家的余老，心中也有說不出的遺憾——桃李滿天下，卻無人繼承衣缽。他尊重孩子的職業選擇，但總是不經意間表達自己的不願意。他會對女兒說:“妳這麽聰明，為什麽不學戲劇？”他的兒子於勤勤因為生計所迫，學了廚師。從那以後，余先生壹直為沒能讓兒子讀書而內疚:“別人背的是書包，妳哥背的是菜刀！”每次出國，他都會買回壹大堆菜譜給兒子學。
在家人眼裏，余老是“壹個幽默的人，總是給家人帶來歡笑”。端妤回憶說:“我母親在世時，有時食物不合他的口味。他會指著剛炒好的白菜說:妳炒的這個菜蓬亂，幫我抹平再吃；比如打牌的時候，5萬已經被摸了，他還堅持要和5萬講和。他說:‘我還是有壹個信念，我可以和賴子講和！’"