高湛称帝后，加封高归彦为太傅、司徒，而且允许他携带三名侍卫带刀入宫，以示恩宠。
1.和士开得宠
高归彦自以为功劳最大，开始膨胀起来，私下里多次说：“没有我的禁军支持，他高演、高湛兄弟能相继称帝么？”在朝堂上遇到政见不一的同事，高归彦也是颐指气使，肆意凌辱，被他凌辱的就有侍中高元海、御史中丞毕义云、黄门郎高乾和等人。
这些人一看官衔就知道，那都是高湛身边的红人，而且是高湛称帝的时候有功劳的人，尤其是高元海。高元海等人对高湛说，高归彦威权太重，一定会成为祸患的根源，必须要提防。
高湛也明显感觉到高归彦的言行越来越狂妄，心生猜忌，打算把他外放到地方。562年二月十八，散朝后，高湛找来魏收起草诏书，任命高归彦为冀州刺史，并让高乾和抄写诏书；为了防止高归彦突然进宫，还下令守门人不准给高归彦放行。等高归彦在家里痛饮狂歌醒来后，一切都晚了。
高归彦第二天入宫朝见时，被守门人拦下来，他怒了：“混账东西，我是太傅，你不想活了？”守门将领成休宁不紧不慢，拿出了高乾和誊写的诏书：“太傅？你现在是冀州刺史！赶紧去上任吧。”
“什么！”
高归彦傻眼了，他是最后一个知道自己换岗的人，只得垂头丧气愣在原地。高归彦越想越气，嚷嚷着：“我要向皇帝谢恩，让我进去！”按照规矩，大臣被封官后，都要上朝谢恩。高归彦想趁此机会去找皇帝哭诉，试图改变皇帝的想法。
正在这时，高元海来到宫门口，对他说：“陛下让你即刻启程，不必谢恩。”高元海还带了很多物品，都是皇帝赏赐给高归彦的，而且还带着众官员来给高归彦送行。都已经这样了，你高归彦还能说啥？根本没有任何辩解的机会！
高元海一行把高归彦送到清阳宫，没有一个人敢和他说话，都知道他现在是高湛的重点关注对象，除了高湛的堂弟高睿。“叔呀，你还是低调一些吧……”高睿好心劝说着。毕竟同样是宗室，高归彦的遭遇难免让高睿有些兔死狐悲之感。
高归彦失宠的同时，又有人得到了高湛的重用，比如和士开、斛律光。斛律光不必多说，斛律氏那是北齐顶级豪门，斛律金、斛律光父子在高演、高湛称帝中出了大力，斛律光被任命为尚书令。
和士开是高湛当长广王时候的玩伴、宠臣，高湛上台后，他一路迁升，现在已经是黄门侍郎，虽然官位不高，但随时侍奉在皇帝左右