公元265年，司马炎取代魏国，建立晋国。司马炎盱（xū）衡天下，南望长江，立下了统一天下的宏伟大志。两年前，魏国平定蜀汉，延续数十年的天下三分之势，演变成魏、吴两国南北对抗的格局。
此时，司马炎作了相应的战略部署，调中军将军羊祜都督荆州诸军事。羊祜，字叔子，兖州泰山郡南城县人。曹魏上党太守羊衜之子，汉末才女蔡文姬的外甥。
羊祜十二岁丧父，孝行哀思超过常礼。奉事叔父羊耽十分恭谨。据说他年少时曾在汶水边上游玩，遇见一位老人对他说：“你这孩子相貌不凡，不到六十岁，必然为天下建立大功。”老人说完就走了，不知所在。
羊祜长大后，博学多才，善于撰写文章，而且仪度潇洒，身长七尺三寸，须眉秀美，长于论辩。泰山郡将夏侯威认为他不同常人，把兄长夏侯霸的女儿嫁给他。羊祜被荐举为上计吏，兖州州府四次征辟他为从事、秀才，五府也纷纷加以任命，但羊祜都拒绝就职。
公元239年，即景初三年，魏明帝曹叡去世，继位为帝的齐王曹芳只有八岁。大将军曹爽与太尉司马懿受遗命辅政，两大集团的斗争日趋激烈化。正始初年，曹爽集团在斗争中明显地占据优势。
曹爽把司马懿排挤到太傅的闲职之上，将统领禁军、掌管枢要的权力皆掌握到自己的弟兄及心腹的手中，从而控制了政府的实权。司马懿实行韬晦之计，假装生病，暗中却加紧布置，伺机反攻。
羊祜虽然年轻，但很有政治头脑。他判断曹爽终将不是司马懿的对手。后羊祜与王沈一起被曹爽征辟，王沈劝羊祜应命就职，羊祜就说：“豁出身家性命去侍奉别人，不是容易的事。”王沈便独自应召。由于门第关系，羊祜基本游离于两大集团争斗之外。
公元249年，即正始十年，司马懿发动高平陵之变，并诛杀曹爽，夺得军政大权。政变之后，司马懿大举剪除曹爽集团，与曹爽有关的很多人遭到株连。羊祜的岳父夏侯霸为逃避杀戮，投降了蜀汉。王沈也因为是曹爽的故吏而被罢免。
于是，王沈对羊祜说：“我常常记住你以前说的话。”
羊祜却安慰他，说：“我当时也没有想到曹爽有这种下场。”他就是这样，既有先见之明，又不肯显示夸耀。在这场灾难中，羊祜因和司马氏的姻亲关系，并未因岳父降蜀受罚。
夏侯霸投降蜀国，其亲属怕受牵连，大都与其家断绝了关系，只有羊祜安慰其家属，体恤其亲人，亲近恩礼，愈于常日。不久，羊祜的母亲和长兄羊发相继去世。羊祜服丧守礼十多年，其间以道素自居，笃重朴实，一如儒者。
公元255年，即正元二年，大将军司马师病逝，其弟司马昭继承其位执政。司马昭征辟羊祜为大将军府僚属，但他没有应命。朝廷公车征拜羊祜为中书郎，不久升为给事中、黄门郎。
时魏帝曹髦爱好文学，在位者希承上意，多献诗赋，汝南人和逌因为违逆上意而遭贬斥。羊祜在朝廷，虽身处士大夫之间，但持身正直，“不得而亲疏”，因此，有识之士对他特别尊崇。
魏元帝曹奂即位后，羊祜被封为关内侯，食邑一百户。因为元帝年少，羊祜不愿在朝中做侍臣，要求调出宫廷任其他职务，结果改任为秘书监。
公元264年，即咸熙元年，曹魏实行五等爵制以后，羊祜被封为钜平子，食邑六百户。颍川人钟会受到司马昭宠信而好忌妒贤能，羊祜也怕他。同年钟会被诛后，司马昭自大将军进拜相国，羊祜任相国从事中郎，与司马昭之子司马炎的心腹荀勖共掌机密。晋代魏前夕，继任相国的司马炎调羊祜为中领军，在皇宫当值，统领禁军，兼管内外政事。
公元266年，即咸熙二年十二月，司马炎受禅称帝，建立西晋王朝，因为羊祜有扶立之功，被晋升为中军将军，加散骑常侍，进爵郡公，食邑三千户。羊祜怕引起贾充等权臣的妒嫉，坚决推辞公爵，只接受本爵钜平子进封为钜平侯的诏命，同时设置郎中令，备设九官之职，并授给他的夫人印绶。
公元266年，也是泰始初年，司马炎下诏：“统领国家机关，协调礼、教、刑、政等各部门的工作，是朝政的根本要务。羊祜德操清美，忠贞而坦诚，纯正而才高，是文武兼备的人才，为人又很正直，虽在宫廷任要职而不掌管国家机要，这不符合圣君必委任贤人垂拱无为而治天下的要义，现任羊祜作尚书右仆射、卫将军，配置本营军队。”
当时，王佑、贾充、裴秀等人均为前朝名高望重之臣，羊祜每每对他们心存谦让。司马炎称帝后，素有吞吴之志。便积极筹划消灭孙吴政权的战争，以实现统一全国的大业。
公元269年，即泰始五年，司马炎除任命大将军卫瓘、司马伷分镇临淄、下邳，加强对孙吴的军事布置以外，又特地调任羊祜为都督荆州诸军事、假节，并保留他散骑常侍、卫将军原官不变。
当时，西晋和孙吴各有一个荆州，形成南北对峙局面。西晋的荆州包括今陕西、河南的一小部分和湖北北部地区。吴国的荆州则有今湖北和湖南的大部分地区。晋吴间的边界线以荆州为最长，所以这里是灭吴战争的关键地区。
羊祜到荆州前线后，认真分析了东吴政权的政治、军事状况。从政治上看，枭雄一世的东吴国主孙权，已经逝世了，孙皓继任后，政治逐渐走向腐败；从军事上看，东吴一代名将陆逊、程普等都相继逝世，但陆逊的儿子陆抗却仍有其父遗风，才略不减前人。
东吴拥有军队二十万，善于水战，凭借长江天险与晋国抗衡，是一支不可轻视的力量。考虑到这些，羊祜暗暗定下了争取民心的策略。羊祜出镇南夏，开垦土地，开设学校，访贫问苦，救济危难，做了许多利民便民的好事，深得江汉人心。
羊祜还对东吴开诚布公。每次与东吴军队交战，他都事先通知对方，从来不偷袭掩杀。吴国士兵投降晋国后，如果有愿意还乡的，羊祜随时放他们回乡。
一天，晋军士兵抓来两个俘虏，羊祜了解到他们是一对兄弟，家中还有年迈的父亲，便立即把他释放了。不久，吴军将领夏祥、邵铠率领部下投降，那对被释放的兄弟的父亲，带领全族的人跟随降军向晋国投诚。
秋天来了，晋军为了储存冬季的粮草，进入吴国境内收粮割草。羊祜要求全军在收割粮草时必须严格遵守纪律，认真计算粮草的数量，并以同等价值的丝绢偿还农户。
当时，食品非常匮乏，晋军的将领们经常带领士兵们打猎。羊祜严令各军，只能在晋国地盘上射猎，不准擅自进入吴国境内。有时，士兵们眼睁睁地看着带伤的猎物逃入吴国境内，却不得不停止追击。然而，对吴国士兵打伤而逃入晋国境内的禽兽，羊祜则规定必须归还吴国士兵。于是，吴国人心悦诚服，感恩戴德。江汉一带的百姓，都称羊祜为“羊公”，却忘记了他的名字。
陆抗是东吴末年难得的优秀将领，他虽然与羊祜隔界对抗，以兵戈相见，但内心十分敬佩羊祜，暗自叹服道：“羊公的德量，即使是乐毅、诸葛亮也未必能够超过。”
一次，陆抗生了病，羊祜知道后，便派人前去看望，还送去一罐汤药。陆抗端起药就要喝。左右的人忙制止道：“晋国人送的药，哪里能随便喝呢？”
陆抗却说：“羊公怎么会在药里下毒呢？”于是将药一饮而尽。
此时，东吴政权日趋腐败，孙皓荒淫骄虐，残害忠良，横征暴敛，百姓苦不堪言。陆抗痛感国事日非，却无回天之力。
孙皓多次下诏催促陆抗发兵攻晋，陆抗上书道：“即使是在一个乡邑，对百姓都不能不讲恩义，何况作为一个大国呢？我如果劳师兴众，对羊祜实际上并不会有什么伤害，反而张扬了他的恩德。”陆抗坚持约兵自卫，吴晋两国军队因此多年相安无事。
由于孙皓挥霍无度，部队士兵常常领不到军饷，连饭也吃不饱。羊祜命人向吴军送酒送肉，瓦解吴军。这样，不时有吴军前来投降，羊祜下令说：吴军来要欢迎，走要欢送。
有一次，吴将邓香被晋军抓到夏口，羊祜部下坚持要杀掉，羊祜不但不杀邓香，而且还亲自为其松绑，把邓香送了回去。
有时，吴军狩猎打伤的野兽逃到了晋军领地，晋军也把这些野兽送到吴军帐内。正是由于这样的“厚”爱，东吴将领们的心已经一步步趋向晋军。
公元276年，即咸宁二年十月，司马炎改封羊祜为征南大将军，恢复其贬降前的一切职权，开府仪同三司，可以自行辟召僚佐。当初羊祜便认为，要想伐吴，必须凭借长江上游的有利地势。
当时吴国有童谣：“阿童复阿童，衔刀浮渡江，不畏岸上兽，但畏水中龙。”
羊祜听后便说：“这一定是说伐吴必是水军成功，只是要考虑哪个人应童谣中的名字。”
正逢益州刺史王濬被征召任大司农。羊祜发现王濬的才能可当重任，而王濬的小字又是“阿童”，正应了童谣之言。而当时在西晋朝廷内部，王濬是个有争议的人物。
羊祜极力肯定王濬的军事才能，于是上表挽留他，使王濬重新被授为监益州诸军事，加龙骧将军。
此后，羊祜密令王濬缮甲训卒，广为戎备。经过七年的练兵和各项物质准备，荆州边界的晋军实力远远超过了吴军，而两年前陆抗病死，吴国境内又因为孙皓的高压统治使各种矛盾日益激化。这表明晋灭吴的条件和时机已经成熟。
羊祜不失时机的上疏请求伐吴，奏疏说：
先帝顺应天意人心，西平巴蜀，南和孙吴，海内百姓得以休养生息，人心安乐。而吴背信弃约，使边境又生战事，国家气数虽是天定，而功业必靠人为，不灭东吴，则士卒百姓无安宁之日。完成统一大业，也是光大先帝功勋，实现无为而治的举措。
尧伐丹水，舜征三苗，都是以使宇内安宁，停止兵乱，民众和睦为目的的。当年平蜀之时，天下人都以为应当一并灭吴，而蜀灭至今已十三年，这算一个周期，灭吴的日子应在今天了。
而议论此事者常说吴楚在盛世最后被征服，在乱世最先强盛，这是诸侯纷争的时候，当今天下一统，不得与古时并论。有些说法只适用于大道理而不知权变，所以出谋略的人很多，而可以作为决策的就少了。
凡是凭险阻而得生存的国家，是指它的实力与敌国相差不多，有力量固守。如地位轻重不同，强弱相差很大，那智士的计谋也不能救它。险阻的地势也不能保它。蜀国地势不是不险要，高山上接云霓，深谷不见日月，关隘险道，束马悬车方能通过，有一夫操戈，千人莫挡之势。
然而灭蜀进军时，蜀国好像连一道篱笆都没有，我军斩将夺旗，斩杀敌军数万，乘胜席卷蜀地，直捣成都城下，汉中一带的蜀兵，像鸟栖于巢一样不敢出动。这也并非蜀人不愿战，实在是力量不足与我军抗衡。到刘禅投降时，蜀地各营垒官兵便悄然四散。
目前江淮的难渡不会超过剑阁，山川的险要不会超过岷山汉水，孙皓的暴虐超过刘禅，吴人的贫困甚于巴蜀，而大晋的军队多于前世，军饷兵械多于往日。不趁此机会平吴，而屯兵据险相守，使士兵役夫日夜辛苦于战争徭役，旷日持久。
这种状况不能维持长久，应当及时定夺，统一四海。如果率领梁、益两州军队水陆并进而东下，荆楚军队进逼江陵，平南、豫州军队进攻夏口，徐、扬、青、兖等州军队进军秣陵，击鼓摇旗作为疑军，多方齐进，使敌军虚实难辨，以东南一角的吴国，抵挡天下大军必然兵力分散，人心慌乱，各种军需紧急难备。
这时巴、汉军队顺流而下，直捣空虚腹地，一处陷落则全境震动。吴国国土沿江，没有前线后方之分，东西数千里，处处设防，战场广大，不能安息养精。孙皓肆意妄为，与下属互相猜忌，名臣重将失去信心，所以像孙秀这类人都害怕威胁而来投降。
将帅疑于朝廷，士卒困顿于战场，没有保国安民之计，人心散乱，平时即有叛离之意，一旦兵临城下，必然有人响应而来降，他们最后不会齐心拼死尽忠是可以预见的。
吴人做事急速而不能持久，弓弩戟盾等又不如中原，只有水战于他们有利，但我军一入吴境，长江就不是吴军专有，吴军回头保守城池，则是去其长而有其短。晋军深入敌国，远离后方，必有死战的决心；吴人在本土作战，会有败则退而守城的念头。这样看来，平吴之战是很快可以取胜的。
此疏就是历史上有名的《请伐吴疏》。奏疏得到了司马炎的肯定，却遭到了朝内其他大臣的反对，权臣贾充、荀勖、冯紞等人的态度尤为激烈。他们提出西北地区的鲜卑未定，不应该两线作战。只有度支尚书杜预、中书令张华等少数人赞同。
恰逢晋军在秦、凉屡有败绩，羊祜遂再次上表：“东吴平定，则胡人自然安定，当前只应迅速完成灭吴的大业啊。”但还是遭到大部分人的反对，羊祜叹道：“天下不如意的事总是十有七八，目前有些人当断不断，当予不取，怎能不让以后的有识之士引为遗憾！”
公元278年，即咸宁四年八月，羊祜染病，请求入朝。返回洛阳时，正逢同母的姐姐羊徽瑜逝世，他悲痛万分，病情更加严重。司马炎命羊祜抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。羊祜则再一次向司马炎陈述了伐吴的主张。
后来，羊祜病势加重，已不能入朝，司马炎专门派中书令张华前去咨询方略，羊祜对张华说：“当今主上有受禅让的美名，但功德尚未著称于世，吴人暴政已到极点，此时伐吴可不战而胜。统一天下而兴办文教，则晋主可比尧舜，而臣下犹如稷契，这是百代难逢的盛事。如果放过这个机会，孙皓或不幸死去，吴人另立英明君主，虽有百万大军，长江是难以越过的，这不是留下后患吗？”张华很赞赏羊祜的主张。
羊祜又对张华说：“能实现我这个愿望的是你啊！”司马炎打算让羊祜卧病统领征吴诸将，羊祜说：“取吴不必我亲自参加，但平吴之后还要圣上操心去治理啊！关于功名的事，臣不敢自居。若我的一生即将完结，应当将未成事业托付他人，希望能审慎选出这个人。”
同年十一月，羊祜病逝，享年五十八岁，并在临终前举荐度支尚书杜预自代。他死后，司马炎亲着丧服痛哭，时值寒冬，司马炎的泪水流到鬓须上都结成了冰。
荆州百姓在集市之日听说羊祜的死讯，纷纷罢市痛哭，街巷悲声相属，连绵不断；吴国守边将士也为之落泪。随后，司马炎下诏追赠羊祜为侍中、太傅，谥号为“成”；赐“东园秘器，朝服一袭，钱三十万，布百匹”。
