徽州方言並沒有因為失勢而停止,反而因為北方人的湧入而越來越弱。因為這些客人沒有戶籍,只能占山頭,所以被政府列為客家人,“客家人”壹詞最早出現在徽州。
客家人與壹些當地人融合,逐漸發展出惠州本地客家話,如惠陽客家話、惠東客家話等。
最終惠州成為客家地區,徽州方言的原生環境被擠入東江沿岸地區。
潮汕地區的人也靠捕魚在廣東沿海定居,所以惠東少數人逐漸受其影響,衍生出薛佬話。
後來惠州成為改革開放的序曲,大批北方人再次南下,形成新的客家人。這些北方人定居惠州,但此時客家話、徽州話已經不是強勢語言,徽州話甚至已經淡化,官方大力推廣普通話。因此,新壹代的徽州人逐漸拋棄了原來的家鄉話,改用普通話。