谢灵运的缺点也不少，自大的同时嫉妒心还不小。
王昙首、王华、殷景仁等人，名声和爵位一直在谢灵运之下，却同时被皇帝宠待。
谢灵运心中不满，往往推说自己有病而不上朝，只管修筑池塘、种植花树、移栽修竹、摆弄香草而已。
并且无休止地让衙门里的劳役服务于他个人，出城游玩有时一天走一百六七十里，往往一走就是十多天，既不上书请示，也不请假。
宋文帝见此情形想将其免职，但又不想直接下旨将其免职让他颜面丧尽，便暗示他主动辞官。
谢灵运于是上表称自己有病，皇帝让他休假回家乡休养。他临行之前，又上了一道奏疏劝文帝北伐。
元嘉五年，谢灵运称病回到家乡后，游玩喝酒集会赋诗照旧，日以继夜，因此而被御史中丞傅隆所弹劾，被免除了所有官职。
回到家乡后，谢灵运和同族兄弟谢惠连、东海人何长瑜、颍川人荀雍、泰山人羊璿之，因为相互欣赏对方的文章而结好。
他们同游山水，当地的人称他们为四友，谢灵运依靠着祖辈、父辈丰富的家底和深厚的人脉，生活富足，奴仆众多，有上百名先人的门生故吏和他往来。
他喜好游山陟岭、纵情山水，没少做开山造湖的事情。但凡游山，必定要探寻最为险峻幽深的地方，即便山峦叠嶂、沟壑纵横，也必会游遍每一个他想去的地方，不畏险阻。
为了便于走山路，他每次登山都穿上一种前后齿可装卸的木屐，上山时便去掉前面的鞋齿，下山时则去掉后面的鞋齿，这种鞋被后世称为灵运屐。
谢灵运大兴劳役，曾经从始宁南山到临海一路伐木开道，时任临海太守王琇闻之，以为是山贼前来偷袭，甚为惊恐，后来得知来的是谢灵运不是山贼才安心。
回踵湖在会稽城东，谢灵运上疏请求将其改做稻田之用，得到批准，下令地方各州郡执行。
孟顗却认为回踵湖距城郭很近，一方水土养一方百姓，改做稻田没能物尽其用，十分可惜，因而坚决不执行朝廷的命令。
谢灵运眼看着事情没有向着自己预料的方向发展，转而又要求将始宁县的岯崲湖改做稻田，再次遭到孟顗的抵制。
谢灵运认为孟顗的考虑并非以利民为首要，而是只考虑掘开湖泊会杀生，言语间中伤了孟顗，孟顗和谢灵运结下仇恨。
孟顗利用谢灵运性格放荡不羁、对百姓多有侵扰的事，上了一道奏疏说谢灵运想谋反并私自调用本