种种传闻早在队伍中沸沸扬扬。说我贪财好色更是有板有眼的，并非空穴来风。按照某个人的比较接近真相的说词，这大人比山贼还象山贼，比奸商还奸恶，试想一个连未来内定的太子殿下，都敢拳打脚踢扯着脖子索要钱财，犯天下之大不惟胆敢在宗室子弟诸王世子中敲诈勒索、放贷取利的，肆无忌惮的欺负皇帝最宠爱的小公主，明目张胆的对皇帝宠妃身边的首席女官无礼儿逍遥法外，这样家伙还有什么事情是他干不出来。
当然想激于义愤，欲解大众乃至救谢沅谢大家于水深火热的将来的有心之士也不是没有。只是那人太过奸猾诡恶，尤善蛊人心而惑上听，让有识之士处处碰壁而已。
光那次私藏女眷事件之后，就有人大做文章，私下联名柬议说我私德不修，不足以依仗重任，请皇帝以换之。因为老皇帝并无怎么表态不了了之。后又有人屡屡用我的言谈得失，诸如所谓“三妇论”痛诉败坏纲常，误人子弟的种种不是，请上惩戒之，哪知皇上连同太子的态度更值得玩味，听的多了，只丢一句摩恁两可的“此子真乃性情中人”，就没让人再多嘴了。
直到皇上赐婚前，还有人觉的此君圣眷正隆，善于蒙蔽圣听，自己恐怕分量不足，便想到拿位一向善体圣意的韦相，上门陈情厉害关系，暗示去奸妄后愿联上下力举他儿子扶正，那知道碰了个软钉子，人家也是明白形势的人物，自是不会为这般小利打动，劝说的急了，才眯着眼睛说了一句了一句不冷不热的“人家私德，干卿何事”打发回来。当然还有他没说出来事后对长子韦鄂的交代，“韦家的权势已经够高了，用不着他人锦上添花了，杨家的下场还在眼前，这些人劝我更上一步是什么意思。什么清本源正纲常的大义，多半不过是那些看人家突然得势心有不顺，子侄又在手下吃了亏，想找回场面的老大人们的托词。什么蒙蔽圣听，挟功自居以祸国，哼，一群豚尔，圣上是那么好蒙蔽的吗，太子素来温厚就真的可欺之以方的吗。这些人不知道是怎么想的，大概是在圣上那里碰了壁，方才转来这里，父新入相位正是易招人忌，为这些各怀异志的衮衮诸君空许之利，去扳陛下和太子殿下一致看好的所谓“奸妄”的阵脚，这些自许国纲大义的衮衮诸公还真是不可类同啊”。这些却不是我所能知道的了。
要是仅仅这样也就罢了，自然还有不死心想有所作为，偏偏第二天那位居中牵头，跑最得力的大人就误食了毒菇吐泻不止，这一路尽是在逃命又那有救治的药物，抽搐折腾的死去活来，还是某位好心的将军大人出了个强灌不文之物催呕