霍显听说毒杀太子的事情没成，心中颇为不快，正在焦虑如何是好，只见霍禹等人气势汹汹的来了。便惊惶道：“怎么了，又有什么情况了？”
霍禹怒道：“听说民间纷纷传言我们霍家毒死许皇后，这事，你知道吗？”
霍显一下子瘫软了，狡辩道：“怎么可能，没有的事。”
霍禹道：“快说实话吧，不然霍家就要大祸临头了！”
霍显只得道：“是，是我叫人毒死了，还不都是为了霍家！我是你阿母，你不要朝我大吼大叫。”
霍禹等人吓的半天说不出话，良久，才怒道：“你是哪门子的阿母，我亲阿母说不定就是被你气死的！怎么会有你这样的人，怪不得天子对我们霍家越来越冷淡了，想必他也听说了！你快去到宣室殿交出头颅吧！”
霍显冷笑道：“大将军何等英武，怎么生出你这个无用之人。我要是去了，你以为你们就能逃过吗？皇帝对他这个许皇后最好，天下人谁不知道故剑情深的故事，灭门之祸肯定跑不掉。或许就是因为皇帝怕我们霍家太得势，才故意不让君儿怀孩子，所以我才想了这个办法铤而走险，如今要东窗事发，不是坏事，我们先下手为强！你们马上起兵控制住皇帝，叫太皇太后再下一道诏书，废了皇帝，不行，就由你霍禹来做皇帝，以后江山就姓霍。大将军没这个胆量，我看你有没有。”
霍禹、霍山等人听了，都错愕不已，互相问怎么办。
霍显道：“别再问了，霍禹，拿出你的男子气概来，按照我说的做。你看，我们的女婿中，范明友是未央卫尉，任胜是羽林监，邓广汉是常乐卫尉，赵平是散骑骑都尉，霍禹你现在是右将军，军权差不多大半都在我们手中，怕什么！”
霍禹几人抱头痛哭道：“罢了罢了，豁出去了。”霍显又命霍家女儿各自回家告知霍家女婿，范明有仰天长叹道：“当初依仗大将军成就一番事业，没想到最后要献上这条性命了”。霍家其他各位女婿也都说“大祸一来，谁也跑不了，只能随波浮沉了。”
霍光的第六婿金赏为前功臣金日磾次子，听其妻说了此事，大为惊慌，与妻商议道：“这种大逆不道的行为，你我二人怎能助纣为虐，你父亲权倾朝野，也未曾动过这样的念想，要是败露了，我们两个死不足惜，我们两个儿子也肯定会被连累至死！”
其妻哭道：“我怎能忍心两个儿子受株连而死，你走吧，带着儿子走，现在就写书休妻，我陪霍家赴死，也算对得起霍家的养育之恩。”