後來為了躲避亂世，關寧隱居在今天的東北遼陽。他總是戴著壹頂白色的儒家帽子，以示他的天真和孤獨。後人也很尊敬他。比如杜甫的“舟不獨似漢斯張，白帽亦當似管寧”；文天祥的“或為遼東帽子，清。《冰雪奇緣》是對他的贊美。
從清朝開始，“白帽子”的含義就被貶損為褒義。相傳乾隆年間，有壹位王爾烈，人稱“壓倒三江”。某年，作為欽差大臣，在南京任考官。江南的楊東鑫看不起他，舉行罷工考試。因為王爾烈是遼陽人，就笑他是“關東白帽”。
意思是“老土”、“土氣”、“山鞭炮”、“鄉巴佬”。“白帽子”這個詞在今天還有另壹層意思，被視為“俗人”、“無知者”的代名詞。