谢灵运喜爱奢侈豪华，他车子的装潢鲜艳而美丽，他的衣着玩的用的东西，无不改变以往的旧样式，世人都学他的样子跟着变，人们都叫他谢康乐。
义熙三年抚军将军刘毅镇守姑孰，谢灵运担任刘毅的记室参军。刘毅镇守江陵，又让他当卫军从事中郎。
义熙八年，刘毅起兵反刘裕，兵败自杀，刘裕任命谢灵运为太尉参军，返京后又转任秘书丞，后因事而被罢免。
义熙十一年谢灵运转任中书侍郎，次年刘裕征讨后秦姚氏，骠骑将军刘道怜留守都城。
谢灵运被任命为谘议参军，再转任为中书侍郎，接着又被任命为世子中军谘议、黄门侍郎。
后来，谢灵运又奉命出使彭城，慰劳刘骏，并写了《撰征赋》。
元熙元年刘裕在彭城建宋国，奉命出使归来的谢灵运仍然被任命为宋国黄门侍郎，再升任相国从事中郎、世子左卫率，却因为擅自处死门生，被免除官职。
永初元年，刘裕代东晋自立，谢灵运爵位由康乐公降为康乐县侯，食邑五百户，又出任散骑常侍，转任太子左卫率。
谢灵运天性偏激，常常有触犯礼法律令的行为。朝廷只把他当做有些才华的文人，而不是有学识才干的政治家。
可惜他自己却认为有水平参与国家大政，却不被赏识得到重用经常愤愤不平。
永初三年，宋少帝继位，权力掌握在大臣的手上，谢灵运在中间挑拨离间，诽谤当权的人。
司徒徐羡之等人很怕他，便排挤他外放任永嘉太守，永嘉郡有很多名山秀水，谢灵运一贯喜欢游山玩水，因为他是被贬谪出来的，于是便任情地遨游。
足迹几乎踏遍了每一个县，每次出游，经常十数天不归，治民、进贤、决讼、检奸等郡守的主要职责，他一概不闻不问。
他无论到哪个地方，都吟诗作赋，表达他的感受和心意，在郡上任职只一年，便称病离职，返乡隐居。
他的堂弟谢晦、谢曜、谢弘微等都写信规劝他，但他根本不听。
谢灵运祖父和父亲都安葬在伯宁县，那里有他家的老屋和别墅，于是他自行把自己的籍贯改成会稽郡，在那里修建房屋和庄园。
他的居处前瞰环环的秀水，后背巍巍的大山，极尽幽深静谧的风致。
他和隐士王弘之、孔淳之等逍遥放纵，作诗为乐，他每一首诗被传到京城，无论贵贱竞相传抄，一夜之间，官吏百姓便对这首诗知晓熟悉了。
远近