宗遂让李峤随其子虔州刺史李畅到虔州赴任。
开元二年李峤又遭到监察御史郭震的弹劾，被追究韦后之乱时身为宰相，不能匡正的罪责。他虽已致仕，仍被贬为滁州别驾，后来李峤又被改任为庐州别驾，不久病逝于任上终年七十岁。
政治上李峤在高宗年间曾随军征讨岭南僚乱，并入僚洞宣抚，成功招降叛军，抑制酷吏政治。
李峤不惧酷吏淫威，上疏为含冤入狱的狄仁杰等大臣辩冤，他在武则天晚年时，又与桓彦范先后上奏皇帝，建议为在酷吏政治中含冤而死的大臣洗冤昭雪，最终得到皇帝的批准。
李峤是武后、中宗时期的文坛领袖，与苏味道并称苏李，又与杜审言、崔融、苏味道并称文章四友，晚年更被尊为文章宿老，深得时人推崇。
他的文章善于隶事用典，讲求骈偶，辞采华美，堪称大手笔，开元名相张说赞其文如良金美玉，《旧唐书》则称其文学为一代之雄。