反隋的工作开展十分顺利，大业十三年七月李渊便率军三万誓师，以废昏立明，拥立代王，匡复隋室的名义正式起兵直趋关中。
发布的檄文里他斥责隋炀帝听信谗言，杀害忠良，穷兵黩武，致使民怨沸腾。
誓师后，李渊与长子建成、次子世民挥师南下，先后破守霍邑的隋鹰牙郎将宋老生、渡黄河，对守河东的隋将屈突通围而不攻。
迅速向西南挺进。当时，隋炀帝远在江都，关内隋军力量薄弱；中原瓦岗军与王世充激战方酣，均无暇西顾。
因此李氏父子进军神速，大业十三年十一月九日直接攻入长安。
十一月十三日，李渊宣布遥尊隋炀帝为太上皇，拥立其孙代王杨侑为帝，改元义宁，是为隋恭帝。
恭帝进封李渊为唐王、大丞相、尚书令，以李建成为唐王世子，李世民为京兆尹，改封秦国公，封李元吉为齐国公。
至此李氏父子完全控制了关中局势，紧接着便准备开始扫荡群雄。
义宁二年，徙封李世民为赵国公，三月隋炀帝在江都被禁军将领兵变杀死，五月隋恭帝被迫禅位于李渊。
李渊即皇帝位于长安，国号唐，建元武德，定都长安，是为唐高祖。
李世民为尚书令，李建成为皇太子，封李世民为秦王，李元吉为齐王。
唐朝建立之初，疆土只限于关中和河东一带，尚未完全统治全国，因此，李渊经常派遣儿子李世民、李建成、李元吉出征，逐步消灭各地割据势力。
武德元年六月，李世民攻打据有今甘肃兰州等地的薛举、薛仁果父子，九月薛举战死，十一月俘杀薛仁果，平定了西北广大地区。
武德二年，唐朝用反间计，使李轨集团内部矛盾激化，从而俘杀了李轨，平定了河西走廊。
同年刘武周、宋金刚勾结突厥，攻入河东，占领太原，李元吉、裴寂等败逃。
后李世民出讨河东，收复太原并消灭刘武周势力，刘武周、宋金刚逃往突厥，不久被杀。
当时黄河流域形成夏政权窦建德、郑政权王世充与唐朝三足鼎立之势。
次年，李世民奉命率军东征王世充，窦建德和王世充联盟对抗李世民的军队。
武德四年，武牢关一战中李世民俘获窦建德。促使王世充投降。
武德六年，太子李建成俘斩窦建德余部刘黑闼，平定了河北地区。
武德七年，高开道为其部下张金树所杀，张金树降唐。唐军又