王国败军后，被韩遂和马腾废掉了。
而军队一日不可无主。韩遂和马腾胁迫前任的信都县令，凉州名士阎忠担任首领，统率了各部。因为阎忠是不得已才让他当首领的。他也知道韩遂，马腾的虎狼之心。所以在当首领期间终因不满和愤恨病死。
阎忠死后，韩遂等人还在争权夺利。继而互相攻杀。至使势力逐渐衰弱。
初平二年（191年），董卓入了长安，并邀请韩遂，马腾共同策划进攻山东诸将。两个人见这时的天下已经大乱了。他俩也想依靠董卓起兵。
初平三年（192年）。韩遂，马腾备董卓招到长安。后来董卓被吕布杀了之后，六月，韩遂和马腾只能投降。他俩率众向当时的朝廷称臣。
当时的朝廷被李傕等人控制下。李傕任命镇西将军，移居至凉州。马腾则是任征西将军。驻军在陕西眉县。
兴平元年（194年）三月，长安大乱。韩遂和马腾趁机来攻打长安的李傕等人，李傕则是派樊稠，郭汜等人进攻马腾，韩遂，二人。二人后来被击败后。死伤了一万多人马。后来韩遂，马腾逃回了凉州。韩遂后来被封为安降将军。
195年，樊稠带兵追击韩遂等人。樊稠带兵一直追至陈仓的地方。这时韩遂想出了一招。韩遂派人找樊稠传话。
韩遂派的人对樊稠用同乡情谊打动了樊稠。于是樊稠就不再追杀韩遂等人了。
197年的时候。荀彧向曹操进言，说关中属韩遂，马腾的势力最大，应该说服他们归顺。
于是，曹操让钟繇致信马腾，韩遂等人。为他们陈述利弊祸福。马腾，韩遂都听从了。而且，他俩为表示诚意。马腾，韩遂都送自己的一个儿子到朝廷为人质。
之后，马腾和韩遂结义为兄弟。后来，因为部下的兵士互相攻打。二人反目成仇。马腾开始攻打韩遂。韩遂战败逃走了。韩遂攻打马腾。杀了马腾的夫人孩子。并与马腾持续作战。曹操遇到此情况。便派出司隶校尉钟繇等人，使马腾，韩遂二人和解了。
后来在公元208年的时候。马腾进入朝廷后。马腾的儿子马超统领了马腾的部下。在周瑜和孙权谈论天下形势时，说过西北军阀马超，韩遂始终被曹操所嫉恨。
在建安十四年（209年）的时候，韩遂派自己的女婿阎行前往拜访曹操。阎行到了曹操那儿。立马受到了曹操的厚待。并且上表朝廷授予阎行为犍为太守。
阎行见曹操如此厚待自己。便趁机请让他的父亲（韩遂）入朝任职