对自己的前途深感忧虑，当他们得知王允要削夺他们的军权，解散凉州兵的消息后，更是惊慌。绝望的凉州兵寻思反正是一死，不如死个痛快。
于是他们迅速召集军队，严阵以待，准备见机起事，并且互相传告，散播蔡邕只不过受了董卓的一点厚遇而已，王允便不分青红皂白地把他杀了。对于我们，不仅没有丝毫赦免的意思，反而想剥夺我们的兵权，置我们于死地。我们除了联合起来，别无选择。
李傕和郭汜在汜水关将所有凉州兵集合起来，誓师进发都城长安。东汉官兵不堪一击，不久，李傕、郭汜的部队便攻陷长安。吕布慌忙领兵出逃，在青锁门停住，招呼王允一同逃走。王允断然拒绝，对吕布说：“如果天子祖先在天有灵，能赐福社稷，保佑我们的国家平安无事，我就心满意足了。如果这一愿不能实现，我愿意献出自己的生命，以死来报效朝廷。皇上年纪幼小，少不更事，只能靠我们来辅助他。国家遭受如此灾难，如果弃下皇上，只顾自己逃命，我实在是不忍心。况且，我身为宰相，不仅不能使国家平安无事，反而导致逆贼的反叛，我的责任重大啊！请你出城以后，多多鼓励关东豪杰，要常常念及皇上！”说完，便扶着献帝逃到宣平城楼。
李傕、郭汜追到宣平门下，叩头便拜。汉献帝壮起胆子询问道：“你们目无王法，作乱京城，到底打算作什么？”李傕回答说：“董太师对陛下忠心耿耿，却无缘无故遭人杀害，我们只想替太师讨回公道，不敢造反。等到捉拿处决凶手后，我们愿意接受审判。”王允二话没说，向汉献帝行了最后的君臣大礼，便随士兵走下了城楼，李傕、郭汜命令手下当场将王允处决，时年五十六岁。