大業十三年，各地反隋軍蜂擁而至，楊迪所在的江都被孤立。晉陽使劉文靜和晉陽宮監裴濟成為李世民的密友。李世民和晉陽縣令劉文靜密謀起兵。
謀反的陰謀確定後，唐高祖還不知道。李世民想說出真相，但他擔心唐高祖不聽。李世民私下找到裴寂商量，裴寂在晉陽宮挑選了幾個美女，在他喝醉後與唐高祖共度良宵。接著，裴寂把李世民的計劃告訴了唐高祖，唐高祖嚇壞了。裴濟說:安排壹個宮女伺候妳，事情曝光後就殺了妳的頭。我這樣做只是為了說服妳下定決心去戰鬥。
李世民趁機向唐高祖匯報了整個計劃。唐高祖壹開始堅決不同意，並表示要把李世民送到報社。過了壹會兒，李淵同意起來對李世民說:我愛妳。我怎麽忍心舉報妳？大業十三年，農歷二月，李沅芷麾下馬邑滎陽府校尉劉武周發動兵變，殺死馬邑知府王仁恭，自稱馬邑天子。農歷三月，劉武周入侵婁煩縣，占領汾陽宮，與突厥勾結，企圖爭奪天下。煬帝聞訊大怒，要把唐源帶到江都懲罰。在這種危急的情況下，李世民說:事情很緊急，所以妳可以做點什麽。
裴寂、許、武士_等身邊的心腹也紛紛勸李淵起兵，李淵最終下定決心反隋。於是，唐高祖以防備劉武周、突厥南下為借口，派李世民、劉文靜、孫強順德、劉弘基等人到處招兵買馬，很短時間內就招募了數千人。
王維和太原副留守高俊雅看到李淵在招兵買馬，懷疑李淵要造反，於是密謀誘騙李淵父子在晉祠祈雨除掉李，並向索要賞賜。不料，這壹陰謀被金陽鄉長劉世龍得知，並告訴了唐高祖。大業十三年，農歷五月十五日，李淵、李世民先發制人，命開陽府司馬劉告發王維、高君雅暗中勾結突厥，引其入侵中原，從而將其囚禁。陰歷五月十七日，正巧幾萬土耳其軍隊攻打晉陽，唐高祖當即命人將他們斬首。六月，他派他的兩個兒子李和去攻打並殺死了拒絕活命的西河縣令高德如。與此同時，唐高祖制定了壹個空洞的計劃來嚇退土耳其軍隊。於是，開始為反隋做準備。
大業十三年，農歷七月，李淵率領三萬誓師大軍，正式出發。在公布的檄文中，他斥責楊迪聽信讒言，殺害忠良，窮兵黷武，民怨沸騰。
宣誓就職後，李淵與長子建成，次子世民出兵南下。防守霍邑的隋應亞郎，先後隨宋老生渡過黃河，圍攻防守河東的屈突通。迅速向西南推進。當時，楊迪遠在江都，入關的隋軍力量薄弱。中原的瓦崗軍和激戰的壹方忙得不可開交，無暇西顧。於是，李父子以極大的速度進軍長安，大業於農歷十三月十壹日進入長安。
李淵進入長安不久，就宣布遠遠地尊楊迪為太上皇，立楊迪孫代王為帝，改位為益寧，為隋煬帝。公瑾封李淵為唐王、宰相兼大臣，李健為太子。為靖，改封秦國公；立李元吉為齊王。
伊寧二年，李世民遷封趙國公。同年農歷三月，皇帝楊迪在江都被兵變的朝廷將領殺死。同年農歷五月，隋煬帝迫禪，皇帝李淵設長安，國號唐，建元武德，長安為都。唐高祖讓李世民做秘書。不久，他被任命為皇太子，封李世民為秦王，李元吉為齊王。