一个团体内部因为各种原因总会有人唱反调，提出不同的意见和看法，宇文部显然也不是特别团结，加上素利这个人的能力有限，威望也不是特别高，并不能完全服众。
在宇文剑明提出要保住秃发匹孤及慕容部之后，立即就有人站出来表示了反对，这人就是东部部落都尉宇文归义，他站出来说道：“可汗，我们要保秃发匹孤和慕容部也得有这个实力才行，连乌丸人都对汉人恭恭敬敬，咱们宇文部现在都还依附于乌丸人，拿什么跟汉人抗衡？再说了汉朝内部虽然乱了，但他们毕竟都是汉人，汉人还能不帮汉人？我的想法是把秃发匹孤和慕容部交给汉人处置，以免给我们宇文部惹下大祸！”
素利看向西部部落都尉宇文莫那，问道：“莫那，你是什么想法？”
宇文莫那起身弯腰抚胸对素利行礼，说道：“可汗，请想想拓跋鲜卑人是怎么被灭的吧！如今拓跋鲜卑只剩下秃发匹孤了吧？中部大漠和西部大漠以及漠北广阔无边的草原都落入了汉朝的手里，如今他们的骑兵巡逻队经常深入我们的领地，但我们却无可奈何，只能忍，为何？因为我们惹不起，拥有十几万控弦之士的拓跋部都被灭族了，我们只有两三万控弦之士，拿什么跟汉军打？我们不是数百年前的匈奴人，没有五六十万控弦之士可以把汉朝打得连连进贡称臣，还要依靠嫁公主和亲换去和平！我们宇文部只能在乌丸人的庇护之下慢慢生长着羽翼，还得小心翼翼不被乌丸人发现我们的野心和企图，我们连乌丸人都打不过，拿什么跟汉朝斗？空有勇气有何用？”
这番话说得宇文部各小部落的头人们纷纷点头，实力太弱小就老老实实猫着，如果还出去逞能，那就是找死了。
接下来却又有人站出来支持宇文剑明，同意保住秃发匹孤和慕容部，各部将头人都纷纷站出来说出自己的想法和意见。
素利一时间拿不定主意，只好宣布结束这次会议，待送走汉朝使者之后再另行商议，尽快拿出一个结果来。
不过这次会议总的来说，同意把秃发匹孤和慕容部交给汉朝的人数占了多数。
会议结束之后，宇文剑明很了解素利的性格和为人，他预感到素利很有可能会同意交出秃发匹孤和慕容部，于是在夜里秘密派人出营向秃发匹孤和慕容部所在的位置去报信。
次日一早，弥衡告辞了素利，带着随行官员和护卫骑兵们向西沿着原路返回。
两天后的夜里，使团在一处丘陵脚下宿营，向导端着一盘羊肉送到弥衡