劉出生於河北滄州。他從小聰明，非常愛讀書，但從來沒有學醫。由於父親早逝，他和母親的生活異常艱難。到25歲時，他因貧困多次無法為病重的母親求醫，耽誤了就醫，導致最終死亡。這件事深深地傷害了劉，對他產生了很大的影響。
由此，劉開始從這段痛苦的經歷中吸取教訓，並在這麽大的年紀開始學習《黃帝內經》。由於劉的深入研究，終於有了頓悟，提出了壹套支配人體運行的法則。他認為人類所有的疾病都是由火熱引起的，主張冷療，最終形成了後世所謂的“寒門學派”，被稱為“寒門學派”的創始人。直到50多歲，他仍然研究並撰寫了許多影響後世數百年的醫學名篇。
民間傳說
因為劉的辨證用藥有奇效，他家門前總是車水馬龍，有些很嚴重的病人吃幾顆藥就恢復得很快。他深知當時百姓的疾苦，所以經常免費給病人用藥，醫德很高。有壹次，劉在外出行醫的路上，看到壹家人正在服喪。奇怪的是，那戶人家的棺材壹直往外流血，壹問才知道是個難產死的女人。
從醫學的角度，他認為這種情況說明母親沒有死，趕緊勸家屬停止哀悼，然後他趕緊開棺處理。沒想到，只縫了幾針，女子就醒了，隨後又換了穴位繼續紮針，很快連胎兒都順利出生了。家裏人以為他是神仙，都跪下磕頭。