刘度、赵范立即找到了曹寅，表示要带兵回去，曹寅深知一旦两人离开后，他独木难支，绝非刘璋之敌，因而坚决不允，三个人都是一方小诸侯，谁也不比谁尊贵，实力又差不多，两人当然不会听从曹寅的命令了，三人言语失和，差一点就拔剑相向了。
最后，在三人智囊的苦苦劝说下，才再重新坐了下来，可是双方都不有的愿意妥协，这天没有商量出个结果。
曹寅只得让二人先回住所，等大家都冷静一下，想想得失，明日再议。刘度、赵范知道曹寅实力雄厚，此处又是其老窝，态度如果太强硬，让曹寅恶从胆边生，他们就危险了，便同意了曹寅的决定。
两人同病相怜，离开武陵太守府后，自然而然的聚在了一起；曹寅担心两人乘夜不辞而别，暗中命令亲信加强了各城门的防备力量，并命令如果没有他的亲笔公文，任何人不得放出城去！
当日，临沅城中流言四起，真真假假，不可计数、不辩真假的流言几乎传遍了城中每一个角落，像什么零陵、桂阳落入了刘璋之手；什么曹寅欲将全城百姓押上城墙，一旦刘璋这位大汉宗室发起进攻，曹寅就将让全城百姓殉葬；什么曹寅等人刺杀朝廷命官，皇上下旨捉拿，劝众人早日与他们划清界限，否则以同罪论处，若有人给捉拿或击毙三人，则赐予三郡太守之位；什么益州二十万援军已经渡过长江，不日将抵达临沅，刘璋敦促城中军民放弃抵抗，迎接益州军入城，否则战事一起，难以保证他们的身体安全……
这些流言倾刻间便令城中人心惶惶，士气大受打击，百姓拖家带口，准备逃离，但来到城门，却只看到冰冷的刀剑……
士兵更是人人自危，因为流言中也有说大部份士兵已经倒戈刘璋，刘璋同意他们将功折罪，这个功，当然是要让他们对身边那些“顽固”的人动手……
曹寅很快听到了一则流言，流言有板有眼的表明刘度、赵范对曹寅不许他们率军返回一事非常不满，一旦他们的根基被刘璋占领，那他们就只能论为曹寅的附属，只能仰曹寅鼻息生存，随时可能被曹寅派到第一线，为曹寅做炮灰。明知必败、甚至随时会身亡，刘度、赵范心中不甘，商量着向刘璋投降，希望刘璋给网开一面，饶他们一命，而曹寅将作为他们的投名状。而曹寅安排监视刘度、赵范的人也回报曹寅，刘度、赵范离开太守府后秘谈了许久……
刘度、赵范也听到一个流言，说的是曹寅心知难以留住他们，一旦他们率部离开，临沅的兵力陡降五成，两万多兵力是难以挡住刘璋