我军在歼灭了敌黄伯韬兵团以后，下一步如何行动？怎样将淮海地区的敌人重兵逐次歼灭？这个问题早在战役第一阶段尚未结束时，中央军委、总前委和华野司令部就进行了研究。
经充分权衡，综合总前委领导等各方意见，毛泽东最后决定先歼黄维兵团。
黄伯韬兵团被歼后的战场态势
淮海战役发起前，国民党在徐州地区驻有4个机动兵团，即邱清泉兵团、黄伯韬兵团、李弥兵团和孙元良兵团，3个绥靖区部队，即冯治安部、李延年部、刘汝明部。共18个军，60多万人。
战役发起后，国民党军调黄维兵团由河南东援徐州，加入淮海地区的作战；并于11月中旬，在蚌埠地区新建了第六兵团（即李延年兵团），改编了第八兵团（即刘汝明兵团）。这样，国民党投入淮海战役的总兵力就达到了80余万人。
经过第一阶段的作战，我军全歼了黄伯韬兵团，迫使冯治安部起义，并给予邱清泉、李弥、孙元良等3个兵团和刘汝明部相当打击，共歼灭了敌人在淮海战场上的兵力基本相等。
中央军委在战役发起后，及时成立了淮海战役总前委，统一指挥华野、中野两大野战军和地方部队与敌人进行空前规模的战略决战。
经过第一阶段的作战，完成了中间突破的任务，扩大了战役规模，把敌人重兵分割成互不联系的几块，使徐州敌军完全陷于孤立，整个态势对我军极为有利。
淮海战役第二阶段：1948年11月23日至12月15日，中原野战军在华东野战军主力配合下，在堆集全歼国民党军第十二兵团，生俘兵团司令官维。华东野战军于永城东北的青龙集，陈官庄地包围了由徐州南逃的3个兵团，并歼灭其中的第六兵团。这期间，敌第六、八兵团几次由蚌埠北部均被我军击退。
截至22日黄伯韬兵团被歼灭时为止，徐州以东增援黄伯韬兵团的邱清泉兵团和李弥兵团，被我军阻击于大许家南北一线，此时已失去东援意义，正准备缩回徐州；徐州以南蚌埠以北的李延年兵团和刘汝明兵团被我军阻击于固镇以北的任桥、花庄集等地区；徐州西南方向，远道赶来增援徐州的黄维兵团，经过数百里行军，进至蒙城与宿县之间浍河南岸的赵集地区，遭到中野部队的阻击、牵制，不能前进。
在华野方面，华野部队在歼灭了黄伯韬兵团以后，四纵在碾庄以西曹八集地区监视徐州以东的敌人；八纵、九纵、十纵南移至陇海路以南张庄、占城、右霞等地区；一纵、十一纵、十二纵、鲁中南纵队仍位于徐州东南一带；三纵、两广纵队及冀鲁豫军区部队位于徐州以南津浦铁路东西两侧桃山集、孤山集等地区监视孙元良兵团；六纵、十三纵及江淮军区部队南下至大胡家、张大庄及蒋家庙等地区，并歼灭了灵壁县城守敌，解放了灵壁县城；二纵进至西寺坡以北地区阻击由固镇北犯的李延年兵团。七纵位于宿县以南为战役预备队中野部队此时除以一部位于任桥、西寺坡一线阻敌李延年、刘汝明两兵团外，其主力已全部展开于涡河、浍河之间，南坪集以东、以西、以北的广大地区。四纵、九纵位于浍河北岸正面阻击黄维兵团，一纵、三纵、六纵等则呈扇形展开于黄维兵团的东西两侧。
中央军委于11月23日，分析了淮海战场上的敌我态势，强调指出：在战役第一阶段我军取得了伟大的胜利，但敌人仍有50个师左右的兵力，在防守方面尚有相当顽强的战斗力。对于我们，最有利的是以现态势各个歼灭当面之敌，我们应力争这一着。如果我们能在第二阶段中，大量歼灭南面敌人，即可全部实现战役计划。总前委及时把中央军委的指示传达到全军，使全体指战员更加牢固地树立了与敌人进行决战，把敌人主力歼灭在长江以北的思想，从而发扬连续作战的优良作风，对敌人展开了更加猛烈的攻击，开始了淮海战役第二阶段的战斗。
是谁提出来淮海战役第二阶段作战
目标是围歼黄维兵团的
黄维十二兵团被共军确定为淮海战役的第二个作战目标，经历了一个演变过程，也可以说是战场演变的结果。
黄维（1904—1989），江西贵溪县人，黄埔军校一期毕业后留校担任第三期入伍生总队的中尉区队长，随同蒋介石参加了第一、二次东征，并随同北伐。
1928年升任团长，1929年到国民党陆军大学特别班第一期学习，毕业后升任旅长。1931年后参加了蒋介石“围剿”井冈山革命根据地的战役，在战争中升任师长。
1937年被派往德国深造，因抗日战争爆发而提前回国。1938年升任第十八军军长，受到蒋介石接见。1939年调任第五十四军军长，归第九集团军总司令关麟征指挥。五十四军是陈诚军事集团的基本部队，由于陈诚与关麟征的恩怨，关麟征有意为难黄维，黄维被迫要求辞职。蒋介石调黄维为军事委员会中将高参。1944年秋冬之交，蒋介石将由桂林撤退到重庆的“军事委员会督训处”改组为“知识青年从军青年军编练总监部”，黄维改任副总监。以后又设立青年军编练总监部东南分部，以黄维兼任主任，黄维主持青年军训练，制定了一整套训练和教学计划。
抗日战争胜利后，即1946年6月，黄被委任为第三十一军军长。1947年春，调国民党南京政府国防部任联防总部副总司令。同年秋，任武汉新制军官学校校长。1948年8月，蒋介石编组机动兵团，任命黄维为十二兵团司令官。十二兵团的前身是第十八军，原辖整编第十一师、整编第三师、整编第十师，军长是胡琏。整编第十一师是胡琏的骨干部队，国民党“五大主力”之一。将整编师升格为军后，第十一师改称第十八军，第三师改称第十军，第十师改称第十四军，后又调入第八十五军，并配属第四快速纵队。这样，十二兵团共有4个军1个快速纵队，总兵力达12万人。
当组建兵团时，大都认为胡琏会出任司令官，国民党军事当局也拟定胡琏出任司令官，但华中“剿总”总司令白崇禧对胡琏屡加攻击，蒋介石不得不另外考虑人选。陈诚推荐黄维出任司令官，尽管白崇禧和何应钦反对，但参谋总长顾祝同积极支持。结果蒋介石任命黄维为司令官，胡琏为副司令官。胡琏不甘心副职，于10月以父亲病重和医治牙病为由，请假离开部队去武汉了，甚至连第十八军军长杨伯涛也称病住院，可见，第十二兵团组建伊始，内部就是矛盾重重。
在淮海战役打响前，刘伯承率中野一部伪装成主力，意在调虎进山，豫西牵“牛”，黄维兵团于1948年10月中下旬被中野调动于泌阳、店河、南阳地区，一无所获后于月底回师河南驻马店附近，至11月上旬才在该地区集结完毕。
淮海战役打响后，蒋介石令黄维兵团驰援徐州战场。11月8日，黄维兵团奉命从驻马店出动，按照指定路线经正阳、新蔡、阜阳、蒙城、宿县，向徐州进发。然而，这一带地区没有铁路和公路干线，而且河流纵横，要渡过南汝河、洪河、颍河、西淝河、涡河、浍河等大小淮河支流。这样一个庞大的兵团，且带着众多的战车、卡车、榴弹炮等重武器，在坑坑洼洼的土路上行军，又要架设一座座桥梁通过一道道河流，其困难程度可想而知。然而，蒋介石又严令“不得以任何借口迟延行动”，在蒋介石的严厉督促下，至18日，其先头部队到达蒙城。
对于黄维兵团驰援徐州战场，毛泽东和我军领导人都非常警觉。11月1日，毛泽东便电告刘伯承，要求牵制黄维兵团东调，并指出：“除六纵必须立即尾黄维东进外，十纵如在南阳附近，亦宜协同二纵尾黄维东进。”11月2日，刘伯承便电报牵制黄维兵团的部署：“1以六纵并指挥陕南部队4个团，与一纵之二十旅，附豫西1个团，经由西平、驻马店中间地区，侧击尾击之。2以二纵由花园，经由宣化店，于鱼日到息县，侧击尾击之。3以豫皖苏相关武装，破坏敌之进行道路桥梁，并分别扭袭行进之敌。”
同日，毛泽东回电刘伯承等，提出六纵的行动值得考虑：“似不如由内乡取直径开太和、阜阳，先黄维到达该地，从正面或侧面阻滞黄维为适宜。二纵到商城后渡淮向太和、阜阳进，与六纵协力拖阻黄维。”
刘伯承根据毛泽东的电示，立即部署六纵、二纵牵制、拖阻黄维兵团，并强调：“此次配合徐州方面之主作战，不仅关系中原战局之转变，即对推动全国战略形势之发展，争取早日打倒国民党亦属重要之关键，因此需动员全体指战员服从整体利益，不惜任何疲劳，不怕任何困难、消耗与牺牲，采取一切有效办法来截击、阻击东进之黄维兵团，迟滞其运动时间，以协助主作战达到胜利。
中原野战军完全包围了黄维兵团，这是战士们在散兵掩体内阻击敌人的情形
为此，二纵应计算行程在6日黄昏以前赶到息县；六纵计算行程在6日夜赶到沙河店，并争取先敌于8日赶到上蔡、汝南间，对敌右侧适时阻击、腰击，利用诸河流方向阻敌也需注意。”
11月13日，针对黄维兵团有可能由太和、阜阳进抵亳县、涡阳、永城地区，策应邱清泉、李弥两兵团突围的情况，毛泽东电示中原局刘伯承、陈毅、邓小平、粟裕等，明确要求：“中原局邓李必须将上述情形立刻告诉二、六两纵，不分昼夜，不惜疲劳，兼程前进，务必于14日，最迟于15日，赶到太、阜黄维的前头，由正面阻止黄维向亳、涡、永前进，不得误事。”毛泽东除指令中原局第三书记、中原军区副政委邓子恢和中原军区及中原野战军副司令员李先念电告二纵、六纵何日可到太和以东及追过黄维兵团外，还指令豫皖苏中央分局书记宋任穷“立即动员一切可用的武装力量，在太、阜、亳、涡、永中间地区迅速破坏黄维通路上的桥梁道路，迟滞黄兵团行动”。
毛泽东和我军淮海前线指挥员在围歼黄伯韬兵团及追堵黄维兵团的过程中，就淮海战役第二个作战目标的问题，进行了多次电报磋商。
最先提出淮海战役第二步作战对付黄维兵团的是陈毅和邓小平。当时，毛泽东提出了关于宿蚌地区的两个作战方案供陈毅和邓小平选择。陈毅、邓小平经过考虑后，于11月5日电报毛泽东：“经我们考虑以先打刘汝明为更有利，因刘部弱，能迅速就歼，或迫其起义，且可能调动邱兵团增援。如刘敌被歼，我军即可全力对邱，并便利第二步对付黄维和孙元良。”
第二个提出淮海战役第二步作战歼灭黄维兵团的是粟裕。11月7日午时，粟裕就歼灭黄伯韬兵团后的下一步行动问题电报毛泽东及陈毅、邓小平等时，提出：“如中原军歼灭刘汝明部作战已经完成，则建议以主力直出津浦路徐蚌段，截断徐敌退路，使李、邱兵团不能南撤。我运东部队解决黄（百韬）兵团后，即以一部加入运西，歼灭李兵团，主力则协同中原军攻击徐蚌段，孤立徐州。尔后，或继续歼灭黄维兵团（可能回撤），或歼灭蚌埠之孙元良兵团（可能收缩蚌埠），或者夺徐州，当依实况再定。”
第三个提出淮海战役第二仗是歼灭黄维兵团的是毛泽东，毛泽东在11月7日20点致粟裕等的电报中分析淮海战场形势时，提出第一仗歼灭黄伯韬兵团，包括打援和阻援，共歼敌21至22个师。“如能达成此项任务，整个形势即将改变，你们及陈邓即有可能向徐蚌线迫进，那时蒋介石可能将徐州及其附近的兵力撤至蚌埠以南。如果敌人不撤，我们即可打第二仗，歼灭黄维孙元良，使徐州之敌完全孤立起来。”
以上这些设想，仅仅是预案，须视战场变化着的实际决定。由于黄伯韬兵团未能如期歼灭，以后又先后提出过诱歼北线邱清泉、李弥两兵团；围歼南线黄维兵团；割歼由固镇北进的李延年兵团等多种预案。但直至11月15日，淮海战役第二步作战目标的问题并未解决。
毛泽东在同刘伯承、邓小平、陈毅、粟裕等连续数天不间断电报反复磋商后，直到24日下午，才最终定下决心。这天下午，毛泽东复电刘伯承、陈毅和邓小平：“（一）完全同意先打黄维；（二）望粟陈张遵刘陈邓部署，派必要兵力参加打黄维；（三）情况紧急时机，一切由刘陈邓临机处置，不要请示。”这样，淮海战役第二阶段的作战目标是歼灭黄维兵团就确立了。
围歼黄维兵团的作战部署
11月23日，总前委根据李延年、刘汝明兵团迟迟不前，黄维兵团已渡过浍河，与中原野战军交战，且该兵团远道而来，兵疲粮缺，又与宿县、蚌埠有相当距离，孤军突出等情况，向中央军委提出了先歼灭黄维兵团的作战方案。在得到中央军委批准后，总前委立即进行围歼黄维兵团的作战部署：
（一）以中原野战军第四、第九纵队、豫皖苏军区独立旅，位于南坪集地区，与黄维兵团保持接触，并将其引诱至浍河以北，利用浍河隔断敌军；以中原野战军第一、第二、第三、第六、第十一纵队隐蔽集结在浍河以南的曹平集、五沟集、孙疃集、胡沟集一线，等黄维兵团进入预定作战地区后，分别由东西两翼实施向心突击，配合正面各纵队将敌军包围分割，各个歼灭；以华东野战军第七纵队、炮兵纵队一部归中原野战军指挥，参加歼灭黄维兵团作战。
（二）以华东野战军第二、第六、第十、第十一、第十三纵队位于宿县、西寺坡地区阻击李延年、刘汝明兵团北援，并力争歼其一部，保障中原野战军的侧背安全；以华东野战军第一、第三、第四、第八、第九、第十二、鲁中南、两广纵队及冀鲁豫军区独立第一、第三旅位于徐州以南夹沟至符离集之间，跨津浦路两侧，构筑多道阵地，阻击徐州方面的敌人援军。
按照总前委的作战部署，华东、中原野战军各参战部队迅速开赴指定的作战地域。
陈赓在南坪集设背水阻击战阵
南坪集位于浍河南岸蒙（城）宿（县）公路上，是一个约有200户人家的集镇，南北长约300米，东西宽约200米。公路从镇东侧通到浍河，河上有座坚固的石桥，可以过坦克和重炮。
南坪集以南是一片开阔平坦的田野，无险可守，地形有利于现代化装备的敌人。如果我军沿袭过去的习惯，固守村落，那么敌军可用炮火优势会把我军的阵地夷为平地。针对南坪集的地形特点，当时有人主张在浍河以北布阵，阻击敌军。而第四兵团司令员兼政委陈赓则坚持在河南布阵。
陈赓认为，黄维兵团拥有火炮，且有飞机支援，老远就可以打到我军。而我军的火炮又少又小，隔河便打不到敌军，在河北结阵只有挨打的份儿。于是，陈赓采取背水结阵的战法。
解放战斗中的陈赓
十一旅三十一团、三十二团固守南坪集及其东西两侧小陈家至三官庙一线；十旅在右翼朱口、伍家湖至大王庙地段布防；十三旅、二十二旅为预备队；九纵及豫皖苏独立旅在左翼东坪集至沈集一线布防。
背水结阵出敌意料，可以大量杀伤敌军力量。同时，背水结阵也体现了邓小平提出的服务战役全局而不惜牺牲局部的精神，十一旅背水而战，更加迫使指战员破釜沉舟，在南坪集拼老命，顶住黄维兵团的进攻。