芜湖，殷仲堪接到诏书，惊怒交加，若不是宣诏之人是叔父，殷仲堪真想命人将使者赶了出去。
当着殷茂的面，殷仲堪勃然怒道：「王恭虽败，但愚麾下尚有数万雄兵，朝庭安敢如此辱我。传令，命桓玄、杨佺期火速进军，夺取石头城。」
石头城外，桓玄和杨佺期先行接到了朝庭的诏书，杨佺期见朝庭封他为雍州刺史，督梁、雍、秦三州军事大为满意，而桓玄能任江州刺史，加上桓家在荆州的势力，也算是将长江中上游控制在手中，两人都想顺从朝庭。
殷仲堪的命令传来，桓玄和杨佺期犹豫不决，两人商议是不是前往芜湖，与殷仲堪当面分说。
殷仲堪之弟殷遹为杨佺期属下司马，见大军毫无进攻命令，杨佺期与桓玄在帐中密议，暗道不好，看来两人想接受朝庭的任命。
连夜驾舟前往芜湖，殷遹把杨佺期和桓玄有意接受朝庭任命之事告诉殷仲堪。殷仲堪大惊失色，连忙命令所部两万兵马回返荆州江陵。
临行之前，殷仲堪派出使者警告桓玄和杨佺期以及他们所部的将士，「如果谁敢不听命回返荆州，愚回到江陵之后，杀尔等全家。」
杨佺期所部刘系本是殷仲堪部将，接到命令后立即率所部二千人马撤走。随后，长江之上遍布大舟小船，皆是回返荆州的船。
军心已乱，杨佺期和桓玄深为恐惧，若是新亭的刘牢之率军出击如何抵挡。面对殷仲堪施出的釜里抽薪之计，杨、桓两人都深感无奈，只得下令折返荆州。
紧赶慢赶，终于在浔阳追上了殷仲堪，三人都觉得应该坐下来谈一谈，消除彼此间的猜疑。
嫌隙已生，但若在此刻各奔东西，朝庭大军随后追击，谁都逃不脱灭亡的命运。酒席宴上，谈笑风生，却是各怀心思，各打主意。
荆州兵马撤走，司马道子松了口气，没有继续分化殷、桓、杨三人，也没有趁胜追击。
三人见朝庭兵马并未追击，决定先在浔阳驻扎，等商议后再定行止。三人之中，殷仲堪实力最强，荆州兵马大都听从他的号令，但此刻名义上他已失去荆州刺史的官职，需要桓家和杨佺期的扶持。
殷仲堪是个文士，不通军事，要带兵打仗，不能指望桓玄，唯有依靠杨安玄。只有牢牢拉住桓玄和杨佺期，稳定荆州不动荡，殷仲堪才有资本与朝庭讨价还价。
桓玄因为父兄家族之故，在荆州颇受拥戴，不过朝庭对他诸多限制，桓家兄弟多对朝庭忠心，并未依附于他，让恒玄常觉空怀