朝廷让刘怀慎率军入境的旨意颁至，胡藩已先行得到杨安玄的命令，与冯冲率领兵马先行离开临沂城，将阳城、东安等占领的琅琊郡城池都让出，退到北冀州东莞郡东莞城(今山东临沂市沂水、莒县北部一带)中。
刘怀慎得知雍军退走，命人进入临沂、阳都(今山东沂南县砖埠镇一带)、东安(今临沂市沂水县、沂源县一带)，前去接收的兵马回禀，胡藩撤走时将府库中的钱粮布帛搬运一空，愿意随同雍军撤走的官吏百姓也随之离开。
刘怀慎命人从彭城调运粮食到来，他预想到雍军虽然让开道路，但不一定会让自己顺利到达广固城，进入北冀州恐怕凶多吉少。雍公一再上疏强调北冀州境内匪患丛生，恐怕就是想学微山湖的水匪一样，借盗匪之名对付自己。
刘裕从建康发来急信，命刘怀慎先驻于琅琊郡开阳城，修筑好进广固城沿途的城垒，徐徐入北冀州。
当年刘裕伐(南)燕时，从下邳开始沿途修筑城垒，时过四年多，这些城垒多数荒弃倒塌。刘怀慎命人修复好琅琊郡内的城垒，接着派出役夫进入东莞郡修复城垒，结果第二天便遇到了盗贼，护卫的兵马被逐散，役夫掳走，城垒捣毁。
刘怀慎大怒，以北冀州刺史的身份下令，严令别驾胡藩和司马郭清尽快扫平境内匪患，从东莞城到广固城，每隔二十里便要筑起一处城垒。
胡藩回文，三月正是农忙之时，不好征役，等七月秋收之后的再说。
刘怀慎向朝廷上疏，以怠慢军机为由撤换胡藩和郭清，刘裕被朝廷授以「都督中外诸军事」，以朝廷的名义将胡藩、郭清撤职。
杨安玄怒不可遏，命胡藩严阵以待。等新任别驾朱平带着千余兵马入境前往广固城，行至半途被盗贼劫杀。
盗贼杀死朱平之后，并没有消失，而是继续南下，将东安、阳城一线修筑的城垒尽皆捣毁，掳走驻守的官兵。
刘怀慎闻讯从开阳城杀出，盗贼往西北方向逃往蒙山，刘怀慎不敢进山搜索，只得怏怏回师。
鲁郡、泰山郡成为宋公刘裕的封地，刘裕派往两地的属官入境后同样不知所踪，建康城内风声鹤唳，多数人以为雍公很可能挥师南下，同宋公争夺天下。
东堂，看到刘裕脸色发青，司马德文暗暗心畅，反正这天下实际上已经不是司马氏的了，闹吧，打吧，越乱越好。
廷议决定由都兵侍郎蔡秀接任北冀州别驾，还没等出发，蔡秀便上疏称病，气得刘裕当场将他免官让其回家养病。