总统府内，十月间请病假时，由总统府迁居蝴蝶胡同私邸。他在这期间情绪很坏，有人问他时局动态时，他经常用一句话来回答：你们最好去问夏内史。当袁接受帝位后，徐世昌也学会了黎元洪那一套，置身事外。
嵩山四友之二的赵尔巽看见筹安会宣言，掷之于地痛哭不已，他是忠于逊清，不肯再事二姓的，因此力辞清史馆长。
嵩山四友的李经羲和张謇，对于洪宪皇帝亦很冷淡，采取貌合神离的态度。
古有“商山四皓”的故事，“商山四皓”说的是秦末汉初（公元前200年左右）的东园公唐秉、甪（lù）里先生周术、绮里季吴实和夏黄公崔广四位著名黄老学者。
他们不愿意当官，长期隐藏在商山(今陕西省商洛市境内)，出山时都八十有余，眉皓发白，故被称为“商山四皓”。刘邦久闻四皓的大名，曾请他们出山为官，而被拒绝。
刘邦登基后，立长子刘盈为太子，封次子如意为赵王。后来，见刘盈天生懦弱，才华平庸，而次子如意却聪明过人，才学出众，有意废刘盈而立如意。
刘盈的母亲吕后闻听，非常着急，便派自己的哥哥建成侯吕释之去请开国重臣张良出面。
吕释之对张良说：“您是皇上的亲信谋臣，现在皇上想要更换太子，您岂能高枕而卧？”
张良推辞道：“当初皇上是由于数次处于危急之中，才有幸采用了我的计策。如今天下安定，情形自然大不相同。更何况现在是皇上出于偏爱想要更换太子，这是人家骨肉之间的事情。清官难断家务事啊！这种事情，就是有一百个张良出面，又能起什么作用呢？”
吕释之恳求张良务必出个主意。
张良不得已，只好说：“这种事情，光靠我的三寸不烂之舌恐怕难以奏效。我看不如这样吧！我知道有四个人，是皇上一直想要罗致而又未能如愿的。这四个高人年事已高，因为听说皇上一向蔑视士人，因此逃匿山中，不作汉臣。然而皇上非常敬重他们。如果请太子写一封言辞谦恭的书信，多带珠宝玉帛，配备舒适的车辆，派上能言善辩之人去诚恳聘请他们，他们应该会来。然后以贵宾之礼相待，让他们经常随太子上朝，使皇上看到他们，这对太子是很有帮助的。”
于是吕氏兄妹和太子当真把这四个后人称之为“商山四皓”的老人请来了，把他们安顿在建成侯的府邸里。
在一次宴会中，太子侍奉在侧，四个老人跟随在后。刘邦突然见那四个陌生的老人，都已八十开外，胡须雪白