正出任首辅之时，权高甚至可以压主。申时行继任之后，内阁的权势依然强大。再后来的王锡爵性刚负气，他任首辅，也是人人敬畏。而赵志皋任首辅之时，已年过七十，表现就是“柔而懦，为朝士所轻”。当时一时间辱骂、责备之声四起。
赵志皋初为首辅，就赶上西华门发生灾难，御史赵文炳上章指责。没多久，南京御史柳佐、给事中章守诚又上言；而吏部更是过分，在侍郎顾宪成的带领之下“空司”而逐志皋，意在激怒万历。后又有给事中张涛、杨洵，御史冀体、况上进，南京评事龙起雷相继诋毁赵志皋，而巡按御史吴崇礼又弹劾赵志皋的儿子两淮运副赵凤威，结果赵凤威被停俸。不久，工部郎中岳元声极言赵志皋应回家养老，给事中刘道亨更是不遗余力地攻击。
当时赵志皋气得说：“同一阁臣也，往日势重而权有所归，则相率附之以谋进；今日势轻而权有所分，则相率击之以博名”。遂一心求退，但万历不肯，只是一直“慰谕之”。
可见这人的脾气，看来是真的好。