，方世玉便有了杭州小霸王之称。
与方世玉、方孝玉一起长大的还有四个同伴——洪熙官、胡德帝、李锦伦、白安福，此六人是称不离陀的铁哥们，他们一起跟苗显习武，一起玩耍，后来又在琼花书院一起读书识字，更一起与通天书院的人打架。
琼花书院与通天书院是杭州城里有名的两座书院，琼花书院是义学，是由方德牵头与城里的乡绅共同创办，收费并不高，前来读书的只是寻常百姓家的孩子，他们来这里就读只是为了将来能混口饭吃，通天书院则是江南有名的贵族学院，在那里读书的非富即贵，他们期望的是将来能鱼跃龙门，踏上仕途，光宗耀祖，再加上他们有荣亲王这佣隐藏在背后的林老板疏通各方渠道，两者根本不可同日而语，是以在多年的竞争中通天书院一直占尽了上风，但是现在这种情形却开始了逆转，转而对琼花书院有利，而这一切的起因都是因为一个方孝玉。
方孝玉非但是远近闻名的神童，十三岁就通过乡试、县试、府试、且位列三甲，成为了近年来江南最为年少的秀才，在他的带领下，琼花书院的学子们开始发愤，尤其是最近几年，他们的会考成绩屡次超过了通天书院，远远的将之抛在了身后，也就是因为这个原因，通天书院的不少富家子都开始转到了琼花书院，这是通天书院所不能容忍的，于是两家书院开始交恶，偶有斗殴，然而每次吃亏的都是通天书院，其原因就是因为方世玉实在是太能打了，通常都是一个打好几个，在最近一次斗殴中，他更是勇破纪录，他一个就打倒了八个通天书院的学员，于是乎知府大人找上门来了，他实在是不能袖手旁观，因为方世玉打伤的那些人个个非富即贵，更重要的是他代表的是通天书院利益的全权代表。
得知他的来意之后，方德眉微锁，对于这两家书院的学子偶有斗殴的事，他是有所耳闻的，但是知府大人亲自找上门来，却还是他意料不及的，于是他说：“大人放心就是，我会约束琼花书院的学子的。”
听了他的话，知府大人不禁松了口气：“其实孩子们之间偶有打架斗殴是很平常的事，可是你们家世玉简直就是只小老虎，仗着自己武功好，经常把通天书院的学子打得皮青脸肿，实在是有伤雅观。”
方德苦笑：“教他武功的可是鄂大人和我岳父！”
知府大人忙说：“可是儿子是你的，你不能放手不管！”
“那是自然，”方德吩咐站于一旁的初一：“到帐房取一百两银子，让大人带回去给通天书院的学子疗伤。”