關於“拾灰”的由來，有以下傳說:
壹:刮灰要彎腰跪在地上，會把膝蓋弄臟。膝蓋-媳婦諧音，臟膝蓋，意思是臟媳婦。所以老頭偷媳婦的比喻叫撿灰。
二:廟裏的香爐裏，燒了很多錫紙。時間長了，就形成了壹大片，和尚們拿出來賣。後來寺廟附近的人發現了，也來偷爐子裏的錫。因為錫媳婦發音相同，引申為老頭偷媳婦的暗語。
三:王安石的兒子死得早，媳婦長得漂亮，王安石的妻子也死了，王安石就在家裏的香爐裏埋了壹首情詩。媳婦燒香的時候發現的，也和詩壹起埋在了香爐裏。於是他們壹起走了。清朝有壹首詩“武夏衍連”，這是它的另壹種說法。好像是這個謠言的來源:王安石的兒子去世後，在後院另建了壹個房子給媳婦住，可能是擔心媳婦有外遇，經常去圍觀。她媳婦誤會了，在墻上寫了壹首詩說:浪漫的愛情不落在別人家。王安石壹看，就用指甲把詩剪掉了。因為是石灰墻，所以叫刮灰。
四:蘇東坡晚年喪妻，與兒子兒媳相依為命。我的兒子有點遲鈍。好久沒進書房的蘇東坡來到書房，桌上落滿了灰塵。遊手好閑的東坡用手指在積滿灰塵的桌子上寫著壹行行字。“綠色帳篷裏的琵琶。即使是春天，我也不敢玩。”這時我媳婦進來看我公公寫的東西，繼續在下面寫了壹句話。“公公要彈壹曲，肥水不流外人田。”剛寫完，兒子進來了。蘇東坡趕緊用袖子拂去桌上的字。兒子問:“爸爸在做什麽？”蘇東坡答得很快:“拾骨灰”。從此，“刮灰”不脛而走。
王安石和蘇東坡都是北宋大人物，但政見不同，歷史上有不同的褒貶。從這個不壹樣的“撿骨灰”故事可以看出，無非是兩股政治勢力在搞人身攻擊，不要當真。