天平六年正月初十，瑶贵妃安氏谋害皇嗣，罪不可恕，但由于为皇家育有一子一女，其父又长年为国征战，于国有功，皇上不忍看其中年丧女，故而只削去瑶贵妃的封号，将其永远幽禁于丽香宫，无召不得出。
虽说对外是说安贵妃谋害了代宝林的孩子被查出来了，但是只有梨伩和东祈临还有安贵妃安婉菱心中清楚，除此之外，还有安贵妃用秘药导致大皇子痴傻并且瞒了快一年的事情在里面，只不过是为了不影响大皇子和大公主，所以才对外如此宣称。
不过后宫中本来就没有傻子，众人虽然不清楚究竟是因为什么，但是都知道绝对不只是因为代宝林这一件陈年往事，必定安贵妃还有其他的事情惹怒了皇上。虽说是被幽禁于丽香宫，贵妃的份位还在，但是和被打入冷宫的废贵妃文氏并没有什么差别，只不过是待遇好上一些罢了，不过宫中的人想来捧高踩地，瑶贵妃宫里的份额估计会被克扣不少。
瑶贵妃被削去了封号，但是依旧是贵妃的份位，所以宫中以后再没有瑶贵妃，只有安贵妃，不过这个贵妃被永远幽禁，跟被废了的文贵妃也没有两样，于是许多妃嫔在私底下称瑶贵妃为废贵妃安氏。
因为丽香宫被看管起来了，所以住在丽香宫偏殿的王充媛就被迁到了良辰宫偏殿翩跹殿，也就是之前佳昭媛住过的宫殿。
瑶贵妃终于不再蹦跶了，不，没有瑶贵妃了，只有一个安贵妃了。
没有这样一个强大的敌人在等着梨伩，梨伩觉得她的日子终于可以安稳很多了，不必再日日面对瑶贵妃，不也用担忧哪天瑶贵妃就出手对付她了。
不过皇上却表露出要将大公主和大皇子交给别的妃嫔抚养，但是却没有妃嫔自告奋勇，这可不像抚养二公主那般，是个香饽饽。大公主今年已经六岁，亲娘安贵妃尚在，你待她再好，也是敌不过亲娘的，而大皇子，后妃们都是人精，虽然没有人确定大皇子是个痴傻的，但都或多或少知道大皇子的身体有问题，指不定哪天就去了，到时候抚养大皇子的人肯定讨不了好。
另一方面，皇上也不敢将大公主和大皇子随意找一个妃嫔来抚养，后宫中的隐私他是明白的，后妃们怎么斗，他都可以睁一只眼闭一只眼，但是涉及到他的子嗣那就不一样了，虽然大皇子是个痴傻的，可毕竟这是他的第一个皇子，又因为他母妃之过，让他成了个痴傻的，所以东祈临对大皇子还有几分怜惜，一心想找一个能好生对待大皇子的妃嫔来抚养。
是以抚养大公主和大皇子的人选一直没能定下