不过，当时这么多人为他老爹送行，他有请大家喝酒吃饭吗？这么多张嘴吃喝，可是一笔不小的开销，窦建德人已经变成尘埃不知道飘那里去了，史书上也没有说他有没有犒劳乡亲们，但这不重要，知道他是有人格魅力的男人就行了。他还是乡里的里长，想必是乡亲们推举的。
隋炀帝大业七年（611年），隋炀帝招兵征讨高丽，征战辽东时，四处征壮丁，窦建德在名单，被认命为二百人长。
这一年大闹水灾，饥荒，同县有个叫孙安祖的人，拒绝入伍，被县令往死里打，他反抗杀死了县令，逃跑投奔窦建德。窦建德本来对隋超暴政不满，不想入伍为这样不值得的朝廷卖命，于是跟孙安祖一拍即合，招集逃避征兵和没有家产的人，驻在名字有点古怪的高鸡泊（今河北故城县），本来就想在这里图个安稳，不被人骚扰，过个有口饭吃的小日子，没想过要反隋，但接下来发生的事，着实惹怒了他，不反不行了。
蓨县人高士达招集了一千多人，在清河郡一带活动反隋，各处屠杀抢劫百姓，估计也是被窦建德独居人格魅力的男人感染，唯独他的家乡不骚扰，政府的人，以为窦建德跟这人勾结，把窦建德家里人给全杀了。气极的窦建德率领手下的二百多人归顺高士达，正式有心反隋。
高士达任命他为司兵，并不断把自己的部队给窦建德统领，后来孙安祖被人杀死，他部下的几千名士兵投奔到了窦建德，从此队伍逐渐壮大，发张到一万多，但还是在高鸡泊一带活动。
大业十二年（616年），涿州通守郭绚率领一万多人马到高鸡泊讨伐，高士达有一个很多人没有的优点，那就是有自知之明，知道自己谋略不如的窦建德，提升他为军司马，军权全权叫给他。窦建德为了不辜负上司的信任，想着一定要用一切手段把郭绚打趴下，向上司证明自己行，于是想出诈降这么个损招。两位戏精，假装闹矛盾，高士达把俘虏来的一个倒霉女人，当着众人面给宰了，说那是窦建德的老婆。窦建德假装派人告诉郭绚，他要投降，跟他合力一起打败高士达，为他老婆报仇。郭绚相信了窦建德的谎言。他们各自带着部队，准备商量如何对付高士达时，窦建德趁郭绚的部队放松警惕时，袭击了郭绚的部队，郭绚大败，被窦建德斩杀，俘获几千人，得战马一千多匹。
不久，心浮气躁的高士达被隋朝廷派太仆卿杨义成杀死，窦建德全权统领了高士达的部队自称将军，先是攻下平原县，接连攻下隋朝好几座郡县，一路对活捉的隋朝官吏和当地士绅都以礼相待，逐