虽然关羽知道现在是进攻樊城的唯一机会，一旦错过这一次，以后想要再回来那就实在太难了，可是他却也不得不率军退走，毕竟现在后方遭到偷袭，如果不夺回来的话，那就不仅仅是武陵和南郡了，就连荆南的另外两个郡零陵和桂阳也要丢失，甚至连整个交州都保不住，如果将这些地盘全都丢失的话，就算刘备肯原谅他，他也没有脸再去见刘备了。
在这一路之上不断有士兵逃亡，尽管关羽在军中平日里威望很高，再加上他爱护士卒，所以深得众心，可是因为军中不少将士的家眷都在江陵城内，现在江陵陷落，他们的家眷生死未知，在这种情况下，心系家眷的将士们纷纷逃亡。
在这个时期心念妻儿的，大都被人耻笑，可是心念父母的却都受人尊重，这些逃亡的将士大都以关心父母安危为借口，即便是关羽也都无力阻拦。
而不久之后发生的一幕更是令关羽麾下的将士军心溃散，因为有不少人得到消息，他们的家眷在江陵都过得很好，孙权军中的将士们对他们十分尊敬，不仅秋毫无犯，而且还帮扶孤寡，有的甚至发放赈济粮，让关羽军中这些家眷们衣食无忧。
在这过程中甚至有不少人劝说他们的丈夫和儿子，让他们不要和江东将士作对，而这还算是比较隐晦的，有的都直接说出让他们的儿子或丈夫投降的话来。
在这种情况下，关羽的大军还都没有遇到什么像样的敌人，就已经跑了大半，四五万大军仅仅剩了两万人左右。
“君侯，以我们现在的力量，就算是回到江陵估计也无济于事了，所以，我们不如不走江陵，直接沿着沔水向西而行，然后再沿着堵水进入上庸，上庸虽属汉中郡治下，然而其主申耽、申仪二兄弟皆是当地的豪强，实际上相当于是当地的军阀，这二人一向钦慕主公，还曾经暗中派人写信给主公，说是愿意协助主公对付巴郡的张任和严颜，君侯可借助他们的力量，翻越巴山，从背后夹击张任和严颜，帮助主公平定巴郡，，这样一来君侯虽然失了荆州和交州，却也帮助主公得到了巴郡，也算是将功赎过，相信主公也不会怪罪你的。”
看着满脸狂躁之色的关羽，王甫在一旁连忙劝说道。
王甫的建议本来是很好的，然而关羽却是摇头说道：“如果说怪罪的话，相信就算我白白丢掉整个荆州和交州，大哥他也不会怪罪于我，可是我自己会怪罪自己，大哥放心的把荆州交给我，我却如此不小心，竟然被孙权小儿麾下将士两次偷袭我的后方，害的我丢掉了整个荆州，也失去了北上夺取