在古代，中原漢族對邊遠地區的少數民族稱為胡人。西晉時期，北方和西北的少數民族主要有匈奴、鮮卑、羯、氐、羌，被稱為“五胡”。公元四世紀，西晉王朝腐朽沒落，被匈奴族人滅亡。“五胡”民族紛紛遷入中原建立政權，和漢族人們雜居相處。
由於少說民族的語言和生活習慣都與漢族不同。漢族人們聽不懂他們的話，便稱為胡說；看不懂他們所做的事，便稱為胡來、胡搞。天長日久，含義逐漸演變，胡說是指假話、大話，沒有道理的話；胡來是指不符合情理和規範的做法。