直到現在，學術界也沒有對這個問題給出壹個準確的解釋，眾說紛紜。但從字面上看，“客家人”就是“外來移民”的意思，很形象，因為客家人從秦始皇時期開始，總要經歷六次大規模的南遷，小的不計其數。
據史料記載，秦始皇時期是客家人第壹次大規模南遷。秦始皇嬴政統壹中國後，派60萬大軍縱橫全國，從福建、廣東、江西到興寧、海豐兩縣。7年後，秦始皇又派50萬人南下保衛武陵。秦朝亡國後，兩批南下的秦兵留在當地，成為第壹批客家人。
西晉末永嘉之亂和東晉五亂是客家人第二次大規模南遷。為了躲避戰爭的摧殘，中原地區的壹些人遷入閩粵贛邊界地區。
晚唐黃巢起義是客家人第三次大規模南遷。安史之亂時，唐朝土地滿目瘡痍，迫使中原大量人口南遷。唐末黃巢起義，大量中原人南遷。但這也是客家話的萌芽期。
宋朝的南渡和宋朝的結束，是客家人第四次大規模的南遷。宋末，客家人參加了文天祥領導的反元活動。抗元失敗後，元軍南下討伐，客家人壹路逃到海南島。
明末清初是客家第五次大規模南遷。由於居住在福建、廣東、江西的客家人人口劇增，以及滿清入侵中原，客家人遷徙到四川、湖南、廣西、臺灣，以及廣東中西部地區。
太平天國是客家第六次大規模南遷。