高力士被贬斥出宫之事，迅速传遍宫闱，继而在朝中引发轩然大波。
就算高力士前一段时间称病不出，但他在朝中的影响力依然非常大，他栽培提拔的官员仍旧把持着朝中很多衙门的要害位置。
高力士突然倒台，让很多人感到惶恐不安，纷纷上疏为高力士伸冤，宫里一些人也开始替高力士说话，包括那些平日对高力士又敬又怕的妃嫔。
因为李隆基对杨玉环特殊的宠爱，使得很多妃嫔失去圣宠，平日召之即来，挥之则去，毫无存在感，如今她们只要逮着侍寝的机会，便会替高力士说话，不断提及高力士的好，试图让李隆基回心转意。
再加上李隆基只是把高力士打发到洛阳城的居所闲住，意味着这个权势显赫一时的大太监依然有被重新启用的机会。
对于朝中一些人来说，好不容易才把高力士这个当权的阉宦给拿下，怎会给他东山再起的机会？
尤其是李林甫。
之前李林甫拿高力士没有任何办法，但现在他得势，已经成为类似于宰相般的存在，更不可能给高力士任何机会。
他开始派人在民间散播谣言，说高力士被赶出宫后，每天在家里进行一些祈福祷告的仪式，似请求上苍成全他什么。
听起来煞有介事，但事情就诡异在这里，明明高力士人已经痴傻疯癫了，一个疯子能祈祷什么？
李隆基先是同情，继而疑惑，再想想不对劲，毕竟高力士知道他太多秘密，他想知道这个他信任有加的太监到底在做什么，于是派人去调查，没过多久便有高力士府上的下人告密，说是高力士在家设祭坛，每日焚香时便诅咒李隆基，说当初要不是他高力士出马，怎么可能有李隆基的今天？现在不过是因为一点误会，李隆基就绝情绝义地打发他走，简直是忘恩负义。
高力士被安置在洛阳，以后可能会随李隆基回长安，只不过是暂时赋闲，将来精神恢复，或许有机会被重新启用。
但现在因为他暗地里诽谤帝王，即便李隆基有情有义，架不住这种恩义被一再消耗，李隆基再也忍不住，一道圣旨下去，高力士目无君王罚回原籍，也就是岭南道潘州。
如此一来，高力士彻底失势。
高力士精神恍惚，半夜被千牛卫官兵从床上拉起来，塞上马车，由皇帝派出的使者押解回岭南。
高力士权势熏天，但其实他的家产并不丰厚，他恋权力也不过这几年的事情，之前一直兢兢业业为李隆基做事，没积累多少财富。