后经过三年苦战，终于除掉了以李贲为首的地方分离势力，收复了交、爱、德、利、明等数州（约今北越全境）。
梁太清二年八月东魏降将侯景举兵反梁，次年三月，攻破宫城，梁武帝病饿而亡，太子萧纲被侯景扶为皇帝。由于镇守广州的梁宗室曲江侯萧勃无意讨伐，陈霸先只好遣使往江陵，投到梁武帝第七子、湘东王萧绎帐下，受其节制。
大宝元年正月陈霸先大军从始兴出发，抵达大庾岭，击败奉萧勃之命在南野（今江西南康以南约十五公里处）拦截的蔡路养，乘胜进驻南康。陈霸先被萧绎授为明威将军、交州刺史。
此后近一年半时间，陈霸先与响应侯景的高州刺史李迁仕在南康一带展开了拉锯战，终于擒斩李迁仕，于大宝二年六月发兵南康，沿赣江北下。
八月，陈霸先准备与萧绎部下都督王僧辩会师。由于陈霸先名声在王僧辩之上，故王僧辩心存畏忌。当时，王僧辩等西路各军正好缺粮，情势不妙，而陈霸先已贮有军粮五十万石，陈霸先以大局为重，迅速馈送三十万石给西军，这打消了王僧辩的顾忌，也在西路各军中赢得了威信。
三年正月，陈霸先南路征讨大军从豫章（今江西南昌）出发，在建康与侯景展开了大决战，终于彻底摧毁了侯景暴乱势力，侯景被杀。
经王僧辩、陈霸先等各路将士劝进，萧绎在江陵称帝。陈霸先奉命镇守在京口（今江苏镇江）。
梁承圣四年九月，陈霸先袭杀死王僧辩，废黜萧渊明，拥立萧方智为帝，改元绍泰，是为梁敬帝。陈霸先任尚书令、都督中外诸军事、车骑将军，领扬、南徐二州刺史，掌握实权。
王僧辩被杀后，其余部起兵反陈霸先。谯（今安徽和县）、秦（今江苏**）二州刺史徐嗣徽以州降北齐，乘陈霸先东讨义兴之机，秘与豫州刺史任约，以精兵5000袭建康（今江苏南京），占据石头城。
陈霸先说降韦载还救建康，遣周文育攻杜龛，以救长城。又命裴忌助黄他攻吴郡（今江苏苏州），王僧智弃城逃吴兴。十一月，北齐遣兵5000渡江占据姑孰（今安徽当涂），以援徐嗣徽、任约。
陈霸先于冶城（今江苏南京朝天宫一带）立栅以阻绝援军。北齐又命安州刺史翟子崇、楚州刺史刘士荣、淮州刺史柳达摩领兵万人于胡墅（今江苏南京长江北岸）渡江，向石头城送米3万石，马干匹。
陈霸先得知，卷甲还建康，命侯安都夜袭胡墅，烧北齐船只千余艘，断其粮运，并在大航（今南京镇