4月18日，毛泽东看到粟裕发来的电报后，不禁一惊。他万万没有想到粟裕与他提出并经中央研究确定的战略决策相左的意见。经过两三天的思考，毛泽东感觉粟裕的建议不无道理，有必要请陈毅、粟裕前来城南庄深谈，并召开中央书记处会议进行研究。4月21日，毛泽东电召陈、粟二人。
4月28日，粟裕终于见到了毛泽东，他既激动又紧张。在谈话中，粟裕提出了自己的三点考虑：其一，国民党在苏北的兵力固然不多，但在豫东、鲁西、淮北、黄河以南，还有很强实力。长江以南，是蒋介石的老窝，集中了白崇禧、汤恩伯等70万大军，都是国民党精锐之师。其二，若华东野战军一、四、六纵10万余人南渡长江，必然会遇到江北之敌阻击、江南之敌顽强抗击，也许能过江，但损失将会是很大的。而江南的天目山、茅山一带，过去虽是老区，近来因受国民党控制、破坏，革命力量已很薄弱，而且山区经济不发达，要供应10万部队吃喝，短时可以，长久确有困难。其三，华东野战军大部队过江作战，江北的兵力必然减弱，国民党鲁南、苏北、豫东之敌若一起向南压去，华野二、三兵团恐难抵挡，必然南撤，苏北是一马平川，又有长江阻挡，我军将会受到大的损失；同时，过江的一兵团受国民党正规军、地方武装不断袭扰，也会逐渐耗损。这样，华野部队就处于分散挨打的态势。我估计东北、华北解决问题恐怕还要一个相当长的时间，在这个过程中，华野部队损失一部甚至过半，对我军在中原地区的整个战斗力将会大受影响。这样就很难在中原组织大的歼灭战。
经过反复斟酌，毛泽东开始觉得粟裕的意见有道理。
陈毅与中央书记处其他人陆续赶到城南庄后，4月30日至5月7日，中央书记处在城南庄召开扩大会议，会议期间，陈毅、粟裕、李先念详细汇报了中原的情况。与会者听后进行了认真讨论，会议决定采纳粟裕的意见。不久，中央决定粟裕任华东野战军代司令员兼代政委，华东野战军的担子就由粟裕担起来了。
为了不负中央重托，粟裕立下“军令状”，1948年6、7月间，他亲率华野8个纵队在中原野战军两个纵队及地方部队配合下，与敌激战豫东，歼敌9万多人，活捉敌第六绥靖区中将副司令兼第七兵团司令区寿年及少将军官4名；随后又指挥华野第二兵团，于7月中旬全歼兖州守敌整编12师。9月中、下旬，华东野战军举行济南战役，歼敌10余万，活捉敌第二绥靖区中将司令兼山东保安司令王耀武、省党部主任委员庞镜塘。
济南战役临近结束时，粟裕又在考虑下一步行动了。24日7时，粟裕致电中央和华东局、中原局：“为更好地改善中原战局，孤立津浦线，并迫使敌人退守江边及津浦沿线，以减少其机动兵力，建议即进行淮海战役”。中央当即复电粟裕：“我们认为举行淮海战役，甚为必要。”
华东野战军代司令员兼代政委粟裕(中)在淮海战役前线指挥所听取战斗情况汇报。10月11日，中央在《关于淮海战役的作战方针》中指出：根据敌人重兵密集的特点，我军战役第一阶段的重心是集中兵力歼敌徐州刘峙集团的右翼劲旅黄百韬兵团，首先斩断敌人的右臂。
以徐州为中心的淮海战役战场位于江苏、安徽、山东、河南4省交界地区。这里地形开阔，村落稠密，津浦、陇海两条铁路纵横贯穿，公路四通八达，是大兵团机动作战的极好战场。1948年11月6日，粟裕率华野大军从山东分成数路南下，直扑陇海线，淮海战役正式打响。按照中央部署，粟裕指挥部队于11月11日将敌黄百韬兵团10万余人包围在徐州以东的碾庄地区，由豫西赶来增援的敌黄维兵团也被我中原野战军逐渐诱入设在浍河上游的包围圈。这样，战役开始不久，敌人便处处挨打。
淮海大战发展的如此顺利，使粟裕产生了打更大的歼灭战的想法。正在这时，一份侦察报告引起了粟裕的极大重视：“刘峙集团可能实行总退却。”经过反复考虑，粟裕于11月7日、8日连续两次向中央军委建议：“截断徐敌陆上退路。”他认为，如果解放区能够继续支持战争，我军应在歼灭黄百韬兵团后，不再向两淮进攻，而是“以主力转向徐(州)固(镇)线进击，抑留敌人与徐州及其周围，尔后分别削弱与逐渐歼灭之”，或以黄维兵团为第二步歼灭目标，力争把刘峙集团消灭在长江以北。这是一个全歼敌徐州集团主力的宏大计划，中央对此高度赞赏，并决定予以采纳。于是，在黄百韬兵团还在垂死挣扎的时候，粟裕就已经把敌人整个徐州集团的最后命运设想好了。
11月22日，黄百韬兵团被全歼，担任阻援的各纵队从12日开始坚守阵地，顽强防御，抗击了东援之敌5个军、12个师的疯狂进攻，迫使敌人每天只能前进二至四里路。
敌第七兵团被歼后，蒋介石于11月24日电召刘峙、杜聿明到南京开会，决定以徐州的第二、第十六兵团向南，第六、第八兵团由任桥、花庄集向北，第十二兵团经南坪集向东北攻击前进，企图南北夹击，重新占领宿县，恢复津浦路徐州、蚌埠之间的交通。
11月23日，淮海前线总前委根据敌情的变化，报经中央军委批准，决定以华北野战军第七纵队和特种兵纵队炮兵一部归中原野战军指挥，参加歼灭敌第十二兵团的作战。以华东野战军的五个纵队位于宿县、西寺坡地区，阻击敌人第六、第八兵团北援，力争歼其一部，保障中原野战军的侧背安全；以华东野战军的六个纵队和鲁中南、两广纵队及冀鲁豫军区独立第一、第二旅位于徐州以南夹沟到符离集之间，跨津浦路两侧，阻击徐州之敌南援。
中原野战军从24日发起攻击，到25日晨黄维兵团被围于徐州西南的双堆集地区，已经插翅难逃，同时，从蚌埠北上的敌刘汝明、李延年两兵团又被我华野、中野部队击退，连夜撤回了蚌埠。徐州之敌杜聿明集团3个兵团已经成了瓮中之鳖。但怎样才能吃掉杜聿明集团这一大块肥肉呢？
粟裕在司令部召开会议时分析道，敌人决不愿作瓮中之鳖，必然会倾巢逃跑，这样更好，把敌人放出来打，更便于发挥我军打运动战的特长，将敌人消灭在野外。但是关键的一点是必须对敌人逃跑的路线判断正确，既要让它出来，出来后又不能让它跑掉。
蒋介石鉴于黄维的处境危急，打通津浦路的计划无法实现，徐州将更显得孤立，为保存徐州主力，并救出第十二兵团，决定放弃徐州南撤。29日，刘峙率“剿总”机关部分人员飞抵蚌埠。30日晚至12月1日，杜聿明率三个兵团及徐州国民党党政机关人员并裹胁部分青年学生，共30万人，全部撤离徐州，沿徐州、萧县至永城公路仓皇西撤，伺机南进。设法查明徐州之敌动向后，粟裕马上部署部队展开追击、堵截。以第十二、第一、第四纵队并行向徐州、萧县之间尾敌追击；以第九、第八、第三和鲁中南纵队由城阳、瞧溪口作平行追击；以第十纵队由塘圩，第二、第十一纵队由固镇地区分别向永城、涡阳、亳州方向突进，迂回阻击。
杜聿明采取东、西、北三面掩护，向东南逐次跃进突击的战略部署，企图与黄维会合。粟裕则采取三面突击、一面堵击的战法，将敌人全部合围于陈官庄、青龙集、李石林地区，并在6月歼灭了在西南方向突围的敌第十六兵团。
当杜聿明集团全军覆没已成定局之时，平津战役打响了。
12月下旬，整个战区气温骤然下降，雨雪交加。敌人空运时断时续，粮食弹药难以补给，大批士兵冻饿而死，有1.4万余人为求生路，向我军投诚。到了1949年1月初，华东、东北野战军切断了傅作义集团的退路。经中央军委批准，华东野战军对杜聿明集团发起了总攻。
粟裕将部队组成东、南、北三个集团和一个战略预备队，于1949年1月6日下午，三个突击集团同时对敌发起猛烈攻击，至10日下午全歼杜聿明集团，击毙敌第二兵团司令官邱清泉，活捉了杜聿明。解放军以18万伤亡之代价赢得了淮海战役的胜利。
对淮海战役，毛泽东有一句精辟的概括：一锅夹生饭，硬是被你们一口一口地吃下去了。