兵买马准备起义的时候他就来投靠了李氏；
在李渊的帐下，殷开山为李氏父子出谋划策，他曾经先后跟随过李渊的长子李建成和嫡次子李世民；
李建成奉命前去攻打西河之地，殷开山在其帐下效力，排兵布阵几乎都是出自他的谋划；
在殷开山的帮助指挥之下，李建成很快的就平定了西河之地以及当地零散的武装势力；
在跟随主公长子李建成之后，殷开山又被调到主公次子秦王李世民的身边，跟着他平定关中之地；
李世民被任命为元帅，而殷开山就是元帅长史；
天下大乱，百姓流离失所，盗贼四起，没有一处安生的地界；
殷开山在治理盗匪上有些想法，李世民也放手让他去做，给他权力让殷开山全权负责安抚百姓和整治盗匪的工作；
他带领兵马，将那些冥顽不灵、负隅顽抗的盗匪全部剿灭；
而那些有着悔过之心，可以招抚的，殷开山也不愿意浪费兵力，而是大肆的宣扬王者之师，一边感化他们一边招兵买马充实军队。
落草为寇者除了罪大恶极之外也都是活不下去的百姓，殷开山这两手做的非常好，一边武力威慑、一边怀柔感化；
在跟随过大公子二公子之后，殷开山又成了大将刘弘基的副手；
刘弘基抢夺渭水率先攻打长安，在长安城下隋朝大将出来迎战；
殷开山挺枪跃马和卫文升大战三十余回合，两个人不相上下，胜负不分，
主将刘弘基冲到阵前帮助殷开山一起上，在金光门外直接将隋朝的大将卫文升给击杀了，俘虏敌军数千人；
之后殷开山协助主将刘弘基一举长安城给攻打下来，因为这次的大功，殷开山被赐封爵位为陈郡公；
还升任丞相府掾，不久他改任为吏部侍郎。
唐军在攻打霍邑的时候，殷开山还是刘弘基的副手，这场战役当中李氏三父子李渊、李建成、李世民全部都参与了；
霍邑的守将大将宋老生坚守城池不出，一时间僵持住了，殷开山看时间流逝这样下去对我军没有丝毫利处；
他便提议不能这么消磨下去，而是兵分两路，一路军队由秦王殿下李世民带领在霍邑南边排兵布阵，另一路由皇上李渊和太子李建成带领在城东；
殷开山还使用攻心之战，让骑兵大胜的散布谣言，说要围城，活捉宋老生；
地方军心不稳，宋老生也中了计策，觉得不能再龟缩城池