可以说曾布对司马光的仇恨不比在场的其他人来得少，但是他引用了司马光的话来证明自己的话，就犯了一个很大的错误。
蔡京抓住了这一点，来对曾布进行猛烈地攻击，说他其实就是隐藏在新党中的旧党分子，又拿出当年曾布背叛新党，曾经攻击市易法一事大说特说。
曾布也是不甘示弱，背叛新党，你蔡京又不是没干过，将当年蔡京被司马光拉进自己的小圈子一事重提，展开了反击。
既然都展开了人身攻击，双方都对着对方的痛处捅去。
现任工部侍郎的何执中乃是蔡京亲信，更是当众指责曾布人品有问题。
据何执中所言，当年曾布在海州怀仁做县令时，其手下有一位姓张的监酒使，他家的女人死得早，家里仅有一个年仅七岁的女儿，一个男人拉扯个女孩子，自然没有那么精细，小女孩那种怯生生的模样看着让人心疼。
这个女孩儿虽然身世可怜，但看着聪慧可爱，曾布的夫人魏玩一见这个女孩儿，就喜欢上了这个姑娘，她将之收为义女，并教她诗书识字，而这个小女孩儿也十分好学，渐渐地她也能够开始吟诗作赋起来。
本来这事儿是一件温馨的事情，然而，曾布这个渣男却让整个事情变味儿了，他也不知用了什么手段，竟然跟这个张氏好上了，两人背着魏玩搞私情，然而天下没有不透风的墙，两人的丑事最终还是被魏玩发现了。
令人无语的是，当曾布看到这段地下情曝光之后，反而更加理直气壮了，他直接一不做二休，将与张氏的关系从地下转移到地上了，义女变成了姐妹，这可让魏玩很难接受了。
接受不了更好，人家曾布索性带着张氏，去外地赴任了，只留下了魏玩一人，在老家孤苦伶仃地面对这冰冷宅院，无法排遣寂寞和哀愁。
魏玩可是一代才女，朱熹曾评价：本朝妇人能文者，惟魏夫人、李易安二人而已。
朱熹口中的魏夫人就是曾布的夫人魏玩，李易安就不用说了，千古第一才女李清照。
为了能使丈夫回心转意，魏玩多次写信给曾布，但曾布始终没有回音。
绝望的魏玩写下了一首凄美的怨妇词《菩萨蛮.溪山掩映斜阳里》。
溪山掩映斜阳里。
楼台影动鸳鸯起。
隔岸两三家，出墙红杏花。
绿杨堤下路，早晚溪边去。
三见柳绵飞，离人犹未归。
发展到后来，对曾布充满了恨