杨帆解决了户部之事，也侧面打听到了裘侍郎和武懿宗的关系。
其实，即便他不打听，这件事很快他也能知道，因为颜面无存的安尚书不肯背上这个大笑话，早就使人暗中透出风声，叫朝野都知道了这次为难“千骑”，实是户部裘侍郎得了他的亲家武懿宗的请托。
武懿宗是什么人？是河内王！是左金吾大将军！是武氏族人！这一来，马上便把朝野的讪笑引到了武懿宗身上，自始至终，这位武大将军都没露面吧？人家杨帆砸了户部的牌子、抢了户部的文房四宝、占了户部的公厨，逼得户部的尚书和侍郎大人骑墙，试问这位武氏王爷、金吾卫大将军在何处？
安尚书的名声地位显然是不能与武懿宗相提并论的，既然安尚书后面还有一位更重量级的人物，那么大家自然就不会嘲笑安尚书，而是转而嘲讽武懿宗了。
杨帆不清楚武懿宗同他作对的真实目的，只是暗暗提高了警惕，正好这时武三思派人送来请柬请他赴宴，杨帆便想利用这个机会，尽可能地化解来自武氏一族的敌意，武则天现在还没有要死的样子，这时还不是和武家公开决裂的时候。
可他却未想到，受了武三思一番教训，已经决心偃旗息鼓的武懿宗却因为传言纷纷都是对他的耻笑嘲讽，又记恨上了他。武懿宗不反思是他自己主动去找杨帆的麻烦，也不思量传言嘲讽实与杨帆无关，只觉得因为杨帆让他丢了脸面，就只有找杨帆要回来。
原本他是为了替武崇训出气才去寻杨帆的晦气，这一次却是为了他自己的脸面了。杨帆还不知道因为谣言频传，他先是得罪了武崇训。现在又得罪了武懿宗，这一日准备赴武府之宴的时候，还与许良商量着下一步的安排。
许良道：“衣物粮饷，户部那边都不再刁难了，但是刀枪弓矢、盔甲器仗，以及马匹还需向军器监、太仆寺索要。如今除了原百骑将士有战马、兵器、盔甲，新募的近千军卒皆是一身布衣、赤手空拳。没有兵器战马，无从演军列阵，训练士卒。”
杨帆颔首称是，道：“前番不知因为何故。武懿宗竟怂恿户部故意刁难，好在户部理亏在先，那班文官又最重体面，派了些兵士一闹，那安尚书吃不消。先软了下来，要不然就算把官司打到御前。拖延了发饷的时日。终究还是个麻烦。现在户部吃了教训，是不敢在这方面为难咱们了，只是不知道太仆寺和军器监是否也是受了武懿宗的托付，眼见户部下场，会不会改变主意。”
许良道：“太仆寺那边情形如何，末将也不甚清楚。不