明中期以后，对孔子的尊崇到了顶点，衍圣公官爵也从四品升为一品，为当时文官之首。孔家享有免赋税、免徭役的特权，而且“曲阜知县，孔家世职”，连曲阜县令都是世袭，实际上，朝廷将整个曲阜县都封赏给了孔家。
崇祯朝时孔府衍圣公孔胤植更是被加封为太子太保和太子太傅，可谓是“君恩重如山”。
然而，孔家人是天生的软骨头。崇祯末年闯王李自成大军攻进山东，虽然离曲阜还很远，但孔府立即令人供奉大顺国永昌皇帝龙位，并献马献银，跪纳印信。
可是没过多久，满清又入关了。
崇祯十七年，福临在燕京登基称帝，而被崇祯帝册封的第六十四代衍圣公孔胤植立即便在第二天上书清廷称臣。
他在上给顺治的《初进表文》中，不顾廉耻地谀颂鞑子“承天御极，以德绥民”、“六宇共戴神君”、“八荒咸歌圣帝”、“山河与日月交辉”、“国祚同者韩并永”，还诚惶诚恐地自称“臣等阙里坚儒，章健微末，曩承列代殊恩，今庆新朝盛治，瞻学之崇隆，趋距恐后”云云。
这真是无耻到了极点！令中华文人儒士为之蒙羞！
这还没完，不久清廷颁布《剃发令》，江阴、嘉定、扬州等地到处是宁愿断头也不剃发的百姓。反倒是孔府大摆香案，举行了隆重的剃发仪式，令族人剃发易服。
大兴军收复南京时，孔胤植已经死去，“衍圣公”一爵由其子孔兴燮承袭，孔兴燮派人到南京上表请降，李元利不为所动，连见都没有见孔府来人。
九月，大兴军进山东曲阜，依法例没收孔家历代朝廷赏赐以及巧取豪夺而来的数千顷良田，并以“卖国罪”杀了孔兴燮，孔家后人全部被贬为平民并迁出孔府，分散迁往云贵广西烟瘴之地，世袭“衍圣公”就此断绝。
若是在其它时候，此举必定会引得天下士人口诛笔伐。但这个时候，有气节的读书人都被鞑子杀了个七七八八，剩下来的也都对孔家降清大为鄙视不满，而那些无骨气降清的文人又都是大兴军清算诛杀的对象，因此孔家被清算，竟然没有引起一点风波。
“拆庙派”理由充足，坚持要拆掉孔庙，“反对派”逐渐支持不住，但在这个时候，李元利却站出来说了一个折衷之法：不拆孔庙，但将之改为文庙。
孔庙原本就又被称为文庙，里面供奉的也不止孔子一人，还有数十位他的门人弟子及其他先贤先儒，将其拆除确实不妥，改为文庙而不独尊孔是最好的办法。
孔庙改名之