公元416年，即晋安帝义熙十二年，刘裕灭亡后秦。由于功高权大，晋朝廷任命他为相国，封宋公。次年，又进封为王。
刘裕，字德舆，小名寄奴，祖籍彭城，即今江苏徐州。出身于破落的低级士族家庭。东晋初年，举家避难，从彭城迁居京口，即今江苏镇江。
刘裕幼年家境贫寒，不得读书，只好以耕地为生，有时也兼做樵夫、渔夫及贩卖鞋子的小贩。这种经历，使得刘裕既懂得劳动民众的疾苦，又具有冒险求利的性格。
京口是从北方各地流亡来的士族和民众聚居的地方，号称“北府”，与历阳同为扬州重镇。京口的居民风俗强悍，敢于从军，当年谢安辅政，推举谢玄为大将，谢玄在京口招募士兵时，就征得勇士刘牢之等人。刘牢之常常率领精锐前锋，冲锋陷阵，战无不胜，号称“北府兵”。
淝水大战，苻坚军崩溃，晋军前锋5000人，全是刘牢之统帅的北府兵。后来，北府兵又在京口招募军队，见前来应募的刘裕身材魁梧、相貌堂堂，就把他留在北府兵当了一个小军官。
公元399年，刘牢之攻打农民起义军孙恩，刘裕勇敢善战，屡立大功。刘牢之的部下，大多抢掠财物，比盗贼更利害。只有刘裕严格约束部属，纪律严明，大得民心。从此，刘裕成为北府兵的著名将领，此后消灭孙恩、卢循起义军，主要是刘裕的功绩。
公元400年左右，桓玄篡晋。这为刘裕灭晋、创建南朝提供了一个绝好的机会。桓玄是东晋大将桓温的少子，从小便承袭爵位为南郡公，长大后，相貌俊朗，并且多才多艺、尤擅作文。
但是，他总以为自己的才学和门第举世无双，待人十分傲慢，因而引起众人的不满，朝廷也疑而不用。直到23岁，桓玄才被任命为太子洗马，后来转任义兴太守，总是郁郁不得志。于是，忿然拂袖弃官，返回荆州南郡，即今湖北江陵的封地。
同年3月，桓玄占领荆、雍二州，上表要求统领荆、江二州，朝廷授与他管辖荆、司、雍、秦、梁、益、宁七州的军事，兼荆州刺史，令桓修为江州刺史。桓玄不从，再上书，朝廷迫不得已只得让他管辖八州。他还让他兄长桓伟作雍州刺史，让他侄子桓振作淮南太守，朝廷都不敢不答应。
桓玄在控制了中、上游后，以为已经握有东晋天下的三分之二，具备了左右局势的实力，便打算起兵反叛。公元399年，会稽人孙恩起兵反叛东晋。桓玄趁机在荆州任用腹心，训练兵马，并屡次请求讨伐孙恩，但都被朝廷阻止。
公元401年，孙恩循海道进攻京口，逼近建康，桓玄声称勤王起兵，实际是想浑水摸鱼，于是晋后将军、尚书令、扬州刺史司马元显在孙恩北走远离京师后下诏命桓玄解严。
不过，桓玄当时完全控制了其辖区，不但做出调桓伟为江州、镇守夏口，又以司马刁畅督八郡、镇守襄阳，桓振、皇甫敷、冯该等驻湓口等军事调动，更建立了武宁郡和绥安郡分别安置迁徙的蛮族以及招集的流民。
年末，晋朝廷决定起兵讨伐桓玄。公元401年初，侍中、骠骑大将军司马元显派北府都督刘牢之为前锋，但在桓玄策动下，刘牢之倒戈。
桓玄势如破竹，得以顺利地攻进建康，捕杀了司马元显等人。从此，桓玄安排自己的心腹和亲信，占据了各个重要的城镇要塞，一步步向最高权力逼近。
桓玄任命自己为总百揆、都督中外诸军事、丞相、录尚书事、扬州牧等，集许多大权于一身；又将一些重要职权任命给桓氏家族中的桓伟、桓谦、桓修、桓石生等人。接着，将刘牢之改任为会稽内史，把他的北府兵权收归已有。
这时，刘牢之才觉得上了当，便与同人商量占领江北，与桓玄对抗，有人指出：“你一个人既反王兖州，又反司马郎君，还反桓公，到底想要怎么样？”
刘牢之无言以对，众人一哄而散。刘牢之无奈，派人到京口去接家人，却又久久不见回来，以为出了事，便带着手下向北逃，到了新州，发现大势已去，就上吊自杀了。
对桓玄篡晋的行为，刘裕全部看在眼里。当时，跟着刘牢之的时候，他心里就在盘算着如何复兴晋室了。他背地里联合北府兵的中下级军官，密谋推翻桓玄。当一切准备停当以后，他从京口起兵，向建康进军。
桓玄赶紧派兵阻击，却被刘裕打得大败，桓玄被迫撤出建康并带走晋安帝。刘裕乘胜追击，桓玄在江陵聚集了大批人马，再次反扑。但是在峥嵘洲，即今湖北鄂城一战，桓玄惨败。桓玄本人也在逃跑途中被杀。
刘裕大败桓玄以后，把晋安帝接回建康，使之重登皇帝宝座。此时，刘裕已经成为了重建东晋皇朝的大功臣。晋安帝令他都督军事，坐镇京口和徐、青二州。过后，又任命他为扬州刺史并兼代理尚书，出兵讨伐北方的南燕和后秦。
南燕是鲜卑人建立的政权，统治范围在今山东一带。它的首领慕容超常常派兵骚扰东晋北部边境，掠走人民去当奴婢，甚至拿掳去的人当礼物，送给后秦等国的统治者。
东晋北部的人民，早就盼望着讨伐南燕。刘裕大败桓玄以后，便亲自带兵从建康出发，渡过淮河、泗水，很快就拿下了琅邪，即今山东临沂北。
慕容超派人向后秦求救。后秦皇帝姚兴派使臣到刘裕那里进行威吓说：“我们已经派出10万铁骑，马上就要到达洛阳；你们如果不退兵，我们将直捣你们的建康！”
刘裕回答说：“我本想在消灭南燕之后，休息几年，再来平定你们占据的关、洛之地（今陕西、河南部分地区），今天你们自己送上门来，那就快点来吧！”
姚兴原想吓唬一下刘裕，想不到刘裕口气很硬，反倒被吓住了，就不敢来救南燕。刘裕很快就攻下了南燕的都城广固，即今山东益都西北，生擒慕容超，灭了南燕。
六年之后，刘裕乘后秦君主姚兴刚死，太子姚泓即位不久的大好时机，亲自统帅五路晋军，讨伐后秦，晋军要经过北魏管辖的地区。北魏在黄河北岸集结了10万大军，又派出几千骑兵渡过黄河，骚扰西进的晋军。
刘裕派水军上北岸去打魏军，魏兵就逃，等晋军回到船上，他们又在北岸骚扰，弄得晋军来回奔跑，没法顺利进兵。
刘裕从容对阵，他派了一个将军带了七百兵士、一百辆兵车登上北岸，沿岸摆开一个半圆形的阵势，两翼紧紧靠着河岸，中间鼓出，当中的一辆兵车上竖了一根白羽毛。因为这种布阵形象像个月钩，所以名叫“却月阵”。
魏兵远远观察着晋军的布阵，不懂是什么意思，也没有敢动。一会儿，只见晋军中间车上有人举起白羽毛，两侧就涌出了二千名兵士，带着一百张大弓，奔向兵车。
魏兵看看这个阵势，也没有什么大不了，就集中三万骑兵向河岸猛攻晋阵。晋阵上一百辆兵车上的弓箭齐发，仍旧挡不住魏兵。
没料到晋军在却月阵后面，另外布置好一千多支长矛，装在大弓上。这种长矛约有三四尺长，矛头特别锋利。
魏兵正向晋军猛攻的时候，晋军兵士们就用大铁锤敲动大弓，那长矛往魏军飞去，每支长矛就能射杀魏兵三四个，三万名魏兵一下子就被射死了好几千。
其他魏兵不知道晋军阵后还有多少这种武器，吓得抱头乱窜，全线崩溃。晋军又乘胜追击，杀死了大批魏兵。
刘裕打退魏军，打通了沿黄河西进的道路，顺利西进。那时候，王镇恶和檀道济带领的步兵，已经攻下洛阳，在潼关和刘裕水军会师。接着刘裕派王镇恶攻下长安，灭了后秦。
刘裕在长安住了两个月，他怕自己离开朝廷太久，大权旁落，决定立即回师建康。在他离开长安那天，关中的父老流着眼泪挽留他，希望他继续留在北方抗击鲜卑、羌等族的骚扰。
刘裕回到建康，东晋朝廷拜他做相国，尊他为宋王。
