且这件事传到徐阶耳朵里之后，徐阶还对这吴兑记恨在心（史载为：“深恨焉”），将其冷冻在原来的职位上久久不予升迁。另外高拱还籍途中经过某郡，地方官知道他是因为触怒当朝首辅徐阶这才黯然下野，便故意轻慢他，非但不像对待一般致仕高官一样拜谒送行，还故意寻找借口刁难，硬是滞留了两天。左右问其缘故，该官嗤笑作答道：“此公得罪了朝廷，我有什么理由对他客气吗？”如此种种，世态炎凉的滋味，高拱一路上尝了个遍。
堂堂帝师、内阁辅臣，受了这么大的委屈，今日终于能上演一出“王者归来”，高务实觉得以高拱耿直火爆的脾气，心里还能打定主意选择“做事”，已经颇为难得了。不过这并不代表他不会在今天给某些人一些脸色看看，只是这却是高务实觉得最好不要去做的。
高务实心中暗道：“史书都说高拱脾气差，而且说话一贯不怎么顾忌旁人感受，我这一路下来可算是开启了‘卖拐’模式，好话说尽，一路忽悠啊，就希望他跟这些甭管有用没用的同殿之臣们不要闹得太僵。可现在听他这语气，该不会还是要趁机散发一下王霸之气，抖一抖帝师威风吧？这可不是什么好主意，就现在这个气场已经吓死一个了，可别把这群明显还想观望一番的人也给直接逼上梁山了才好。”
但麻烦在于他高务实现在只是个六七岁的小孩子，很多话说出来明显没有分量，只能从旁影响高拱，让他自己意识到“给他们一个下马威”不仅没有必要，还很可能会坏事，从而使自己接下来不好“做事”。毕竟，高拱脾气虽差，原则性却强，如果他意识到了这一点，相信是不会乱来的。
心念及此，高务实再不迟疑，连忙哈哈一笑：“看风向好啊，看风向说明他们有服软的可能呀！这可不正如三伯您希望的那样，有机会把他们也引入正途么？我瞧呀，三伯您下车之后，不如就让他们看看什么叫宰相气度——不管当初他们是怎么做的，您现在压根儿不与他们计较！要知道，这些人平日里也许威风八面，可如今在您老面前又算得了什么？您不跟他们计较，旁人也只会说您雅量高致，谁还能蠢到认为您治不了这些人吗？可您这样不去计较的话，不仅能让他们放了心，对您心存感激，将来您做事的时候，他们将心比心也不会跳出来捣乱；而您自己呢，也能顺便得个美名，岂不是两全其美、皆大欢喜？”
高拱稍稍错愕，摇头笑骂道：“我岂是贪慕虚名之辈！”说着下意识捋了捋那把标志性的大胡子，又傲然道：“不过你这样想也没错，眼下我自然是不会与他们