南梁元帝萧绎继位之后，任命陈霸先为大司空，而且还让他兼任扬州刺史，镇守京口（今江苏镇江）。王僧辩被任命为太尉，负责全国的军事，镇守石头城（今属于江苏南京）。他们两个人都是国家的支柱和栋梁。
陈霸先
萧绎做了皇帝以后，他的侄子萧 和他的兄弟萧纶、萧纪开始互相残杀，争夺皇位。为了达到自己的目的，萧不惜引狼入室，让早就想灭掉南梁的西魏来帮助他夺得皇位。结果，在西魏的帮助下，萧 攻下江陵（今湖北江陵），杀死了萧绎，自封为梁王。西魏的军队在南梁烧杀抢掠，无恶不作，大肆抢劫金银珠宝，还把数万人掠走当奴婢。随后，他们把江陵交给萧 去管理。萧 自称皇帝仍称为梁朝，作为北国的附庸。
江陵被西魏攻破以后，陈霸先和王僧辩不承认萧 这个皇帝，于是就在建康（今江苏南京）立萧绎的儿子萧方智为皇帝，也就是南梁敬帝。就在这个时候，被东魏俘虏的贞阳侯萧渊明被北齐兵给送了回来，北齐想让萧渊明回来当皇帝。
王僧辩是个反复无常的人，他为了个人的利益，答应了北齐的要求，废掉了南梁敬帝，辅佐萧渊明当了皇帝。
在这之前，陈霸先曾经苦苦劝说过王僧辩不要这样做，结果王僧辩不听，还是执意废掉了南梁敬帝，在建康立萧渊明为皇帝。为此，陈霸先十分愤怒，在私下里曾慨叹地和他的亲信们说:“武帝的子孙们很多，而只有元帝萧绎能为他的祖宗报仇雪恨，他的儿子有什么过错呢？怎么能说废就废了？我和王僧辩一起接受先帝的委托，然而王僧辩怎么说变就变了呢？他依靠齐国，不按次序列天子，到底想干什么啊？”
陈霸先越想越气愤，就和部将侯安都起兵攻打建康，打算除掉王僧辩。
侯安都率领自己的人马很快就到了建康，而且还打败了王僧辩的军队，冲进了建康城。王僧辩一听说城外有人杀了进来，大吃一惊，然而，此时侯安都的人马已经攻了进来。王僧辩在手下的拼命保护下向南门逃走，不料，陈霸先的人马已经从南门杀了进来。王僧辩走投无路，束手就擒，当天晚上就被陈霸先杀了。紧接着，陈霸先又杀死了萧渊明，重新立萧方智为皇帝。
王僧辩死了以后，他的党羽们继续和北齐勾结，乘陈霸先到义举(今在江苏、浙江的交界处）平定叛乱的时候，偷偷袭击了建康，占领了军事要地石头城。与此同时，北齐还派了5000兵马，从采石(今属安徽马鞍山）渡江，占领了姑孰(今安徽当涂），控制了建康的西南门户。陈霸先知道这一消息以后，连夜赶回了建康，乘着天黑袭击了长江北岸的北齐军，火烧了他们的粮船。然后，他又包围了石头城，把城中的水源切断。北齐军为了摆脱绝境，被迫向陈霸先求和。陈霸先知道这是北齐军的诡计，但是因为军队中的一些其他原因，就答应和他们讲和了。他对自己的部属们说：“北齐人这次求和是被迫无奈的，他们是一些反复无常、不讲信用的人，很可能还要卷土重来，我们都应该做好准备。”
等和北齐的和约达成以后，陈霸先一方面清除王僧辩的残军，为巩固后方做准备，另一方面派兵驻扎在淮河沿岸的方山一带，防御北齐的入侵。
果然，没有过多长的时间，北齐就撕毁了和约，又来入侵，并且还占领了江南的一些地方。幸亏陈霸先早有准备，加上战士们作战勇猛，所以，北齐军队始终不能靠近建康。建康的老百姓也都很支持陈霸先对抗齐国，并且经常用荷叶子包饭，煮好鸭肉，争着送给在前线与北齐作战的战士。
北齐军队每到一处，都会受到江南人民的坚决抵抗。没有房子住，就住在泥泞的草地里，军粮供应不上，就靠百姓接济维持生计，就这样，陈霸先终于打败了北齐的军队，保卫了江南。
此后，陈霸先的威望逐渐提高。南梁敬帝还特封他为陈国公，总揽朝政大权。