也始终把握专家治院的原则。研究院内总管行政事务的最初为秘书长，后改称为总干事。蔡元培聘请的第一任总干事是杨杏佛。
杨杏佛早年加入同盟会，并曾在孙中山的临时南京政府中任职，后赴美国留学，攻读机械工程、工商管理、经济。归国后，长期协助蔡元培工作，是蔡元培创建中央研究院的最得力的助手。
蔡元培曾说：“我素来宽容而迂缓，杨君精悍而机警，正可以他之长补我之短。”
1933年，杨杏佛遭国民党特务暗杀，物理学家丁西林短期代任总干事一职，继由地质学家丁文江接任总干事。
丁文江早年留学英国攻读动物学和地质学，1922年参与发起成立中国地质学会，与翁文灏合著《第一次中国矿业纪要》。他是一个精于科学又长于事务管理的科学家，1934年任中央研究院总干事后在科研组织管理方面实施了一系列富有成效的改革。蔡元培称他是一位“有办事才能的科学家”，“我国现代稀有的人物”。
作为一院之长的蔡元培给自己的角色定位，就是为科研人员竭尽所能地创造学术研究条件和空间。各所的学者要去全国各地进行科学调研，蔡元培总是和国民党的各地方军政要员积极接洽，要求他们尽力协助。
对自己聘任的专家学者，蔡元培则用人不疑。
时任社会科学研究所社会组主任的陈翰笙回忆：“蔡先生是院长兼社会科学研究所所长，但所内的具体工作，全都放手让我主持，从不干扰。重要事务，由我去向他报告，他仔细地、认真地、虚心地听取报告，先征求我的处理意见，然后由他提出具体办法来同我商榷……我去信请教时，他都亲笔回信，具体而切实，从没有训人的口吻。他不仅对我是这样，他对中央研究院每一个工作人员，不论职位高低，都以谦虚诚恳的态度平等相待。”
蔡元培领导创建中国研究院，是他继担任民国教育总长、北大校长之后，对于中国文教科研事业所做的又一个丰碑式功绩，以至有人评价，这是“蔡先生对于我国学术之最大贡献”。
1949年，国民党当局迁台。12月，历史语言研究所的全部以及数学研究所的部分共二千多箱重要图书、文物、仪器、设备运往台湾，迁至台北的台湾大学，暂存在桃园县杨梅镇（今桃园市杨梅区）火车站仓库。其余研究所皆留置于中国大陆，并发展为后来中国科学院之主体（中国科学院早期的外文译名亦一直沿用AcademiaSi
ica，现多采用英语Chi