然而，《宋書》卻為劉裕列出了壹個令人眼花繚亂的家世:的弟弟與王交朋友之後。焦傅、傅盛畢強、畢勝強陽市苗侯德、市節度侯、安民生陽市_侯清基、盛陽市蘇侯岑、岑生宗正平、終其壹生、董武成淩某、東萊太守景某生、景景琦、盛博士洪、洪聖郎雅杜維。東安為太守，景勝郡為英雄，是對皇帝的考驗。
也就是說，劉裕是西漢劉邦弟弟的後代。在他的祖先中，封將軍的頭銜是很容易的。這壹串家族血統基本都是扯淡。只能證明南朝和宋朝的皇室有多在乎親情，所以不遺余力的往臉上貼金。
退壹步說，就算血統存在，也只能說明劉裕雖然是西漢楚原王蛟劉的後裔，但已經沒落了。至少根據宋書的記載，到了劉裕之父劉俏的時候，劉氏家族已經衰落了。劉俏的壹生，只在郡公曹的位置上，連郡公曹的位置都很可能是虛構的。因為郡公曹也是地方士紳官員，家裏也有點錢。但以劉裕的赤貧來看，他的父親劉俏怎麽可能不給兒子留下財產，又怎麽可能看著兒子缺衣少食。所以很有可能劉橋本人只是政府的壹個底層官員，或者幹脆就是壹個底層農民。
據宋武帝傳記資料記載，劉玉生生於興寧元年三月壬寅夜。出生時，母親難產而死，父親劉喬因家境貧寒，難以養活兒子，想拋棄劉裕。就在劉裕要成為棄嬰的時候，與劉裕同郡的親戚劉的母親聽說了此事，忙過來攔住劉俏，答應她壹定會把這個可憐的嬰兒撫養成人。當時，這位可敬的母親在滿月前生下了兒子劉，於是毅然決然地斷了劉的奶給不是親生的劉裕餵奶。
劉裕壹生都感激劉的家人。當了皇帝後，劉玉封沒有血緣關系的劉嘉爾為太子。
關於劉裕出生時的名字是奴隸，還有壹個傳說。還有壹種中草藥叫劉，是以劉裕命名的。劉裕年輕的時候，有壹天晚上出去打獵，用箭射中了壹條大蟒蛇。但是蛇壹瞬間就消失了。劉裕覺得很奇怪，想去找那條受傷的蛇，但天色已晚，只好作罷。第二天，他來到他原來的地方尋找。當他尋找壹條小河時，他聽到了叢林深處橡木臼的聲音。劉裕循著聲音，發現兩個孩子在耍把戲。這兩個人壹邊工作壹邊談論藥物。
其中壹個說，我們的國王受了重傷。是誰這麽大膽向他開槍？另壹個說:是劉壹努昨天拍的。
陛下有這麽大的能耐，為什麽不殺了劉為報仇呢？不能殺劉，將來就要當皇帝了。這是國王說的。
劉裕聽得好奇，大吼壹聲，撲了出去。兩個孩子匆匆逃走，不見了。劉裕看到兩人留下了研缽和草藥，就試著用這種草藥治療外傷，結果證明非常有效。後來劉裕馳騁沙場，壹直帶著這種草藥。在南方作戰的過程中，他用那種草藥治好了無數受傷的士兵。當時人們並不知道這種草藥的名字，因為它最早是由劉裕發現的，是以劉裕的出生名命名的。
這只是傳說，不是事實。然而，根據隋書的記載，武帝喜歡學醫是真的。他廣泛收集民間驗方，編輯了壹卷《雜榮狄芳》，可惜現在已經失傳了。
當然，劉裕小的時候肯定不知道自己能當皇帝，也沒有人想到這個窮人家的孩子能當皇帝。在封建社會，人們通常以壹個人的家庭背景來衡量和預測他的未來。劉裕屬於那種因為貧窮而不受重視的孩子。劉裕生長環境惡劣，英雄豪爽，七尺六寸長，性格剛強，沒做過什麽便宜事。
前半句是史書上通常的點綴，只能說明劉裕比較高大，後半句才是關鍵。劉裕在家鄉不從事生產，也不像同樣出身的普通人家的孩子那樣做壹些生意。他認識幾個字，但進不了政府；為了謀生，他零星從事壹些被文人士大夫鄙視的體力勞動，有時也做壹些做座椅、賣鞋之類的小生意。因為家境貧寒，沒有背景，劉裕經常被欺負。
劉裕還有壹個大多數人無法接受的壞習慣:他喜歡賭博。但是他的運氣很差，經常會血本無歸。最後因為賭博，劉裕欠了有錢有勢的刁逵三萬元。因為還不起賭債，被刁逵抓住，綁在馬上，受盡侮辱。當時皇室的王米去刁逵家做客，偶然遇到了劉裕，認為這是壹個將來會好好表現的年輕人，於是替劉裕還清了債務。刁逵拿到了錢，又看在王家的面子上，這才放了劉裕。王米對劉裕說:妳要做壹代英雄。
王米主動與劉裕交往並不是因為身份和地位的懸殊，這讓劉裕很感動。
劉裕十分感激。掌權後，即使王米是敵對陣營的要人，他也會得到終身優待。對於刁逵這樣的敵人，壹定會殺。
因為他的背景，劉玉不認識幾個字，也沒讀過幾本書，所以他是半個文盲。後來因為行政關系，漸漸認識了壹些字，會看文告，也會自己寫短令和文告。在東晉官場，文學談吐和書法水平是官員之間相互交流和評價的重要標準。尤其是壹些大家族，他們真的看不起那些缺乏系統文學教育的寒門子弟。
即使劉裕貴後來成為掌管朝廷的大臣，也難免有壹些貴族在背後嘲笑他的文學修養和風度。
劉裕的謀士劉提醒他註意自己的言談舉止，因為這不僅關系到劉裕的個人尊嚴，還直接關系到他政治鬥爭的前途。劉裕把托付給劉，幾乎言聽計從。於是他開始註意自己的言行，盡量淡化軍人色彩。而他自己的壹手爛字卻改不了，天生不愛讀書寫字，這讓劉裕心疼不已。劉建議，雖然寫作是壹件小事，但對世界感興趣的人必須多加註意。壹般可以壹直寫大字，寫個壹尺大的字也無妨。漢字可以隱藏缺點，有氣勢。
劉裕欣然采納了這個建議。後來，劉裕的文告寫得浩浩蕩蕩，壹張紙上只有六七個字，貼得滿墻都是。從遠處看，他的文告很有氣勢，很適合他的身份。
總之，早期的劉裕是個出身不好，行為不好，名聲不好的少年。