1947年3月莱芜战役，国民党李仙洲集团的第七十三军及四十六军两个军七个师共六万余人被我军全部歼灭后，蒋介石再集重兵，攻击我华东解放区，妄图挽救在华东战场的颓势。为确保其战役企图的实现，蒋介石出动了号称“五大主力之首”、卫戍南京的整编第七十四师，以其由淮阴出涟水，进入鲁南之临沂，向蒙阴进攻。整编第七十四师隶属汤恩伯的第一兵团。当时，汤恩伯驻在临沂城，所辖部队共有七个整编师和一个军，其中，整编第七十四师是其“王牌”，担任主攻任务。鉴于莱芜战役的教训，蒋介石指令汤恩伯采取“集中兵力，稳扎稳打，齐头并进，避免突出”的作战方针，又考虑到在莱芜战役中采取南北夹击的部署，使北线李仙洲集团因冒进而被解放军歼灭，提出了“密集靠拢，加强维系，稳扎稳打，逐步推进”的进攻策略。我华东野战军采取“持重待机”的方针，灵活调动敌人。国民党军进入山东一个多月，也未能与我军主力接战，每天只四处乱窜，围绕着临沂在崇山峻岭中被我军耍得团团转。
按照汤恩伯的最初部署，前线的整编第七十四师应配合整编第八十三师（师长李天霞）作战，进出桃圩，掩护整编第八十三师进占界牌，并与整编第十一师协同攻占蒙阴；整编第二十五师（师长黄百韬）则待整编第七十四师占领蒙阴后，由费县进出蒙阴，并指挥整编第六十五师配置于左后翼侧，控制于蒙阴、新泰之间，联系王凌云的整编第九师，待所有部队列位后，再统一前进。
张灵甫对作战打计没有异议。但对让他配合李天霞却难于接受。原来，李天霞与张灵甫的后台老板王耀武是同学，都是黄埔三期的学员，还曾当过张灵甫的上司，比张资格老。但是，因为李天霞为人跋扈，处事狡猾，为王耀武所忌；而张灵甫虽然在作战上有一些办法，但政治头脑比较简单，且性情敦厚，颇得王耀武欢心。因此，在国民党军队进行整编时，尽管李天霞和张灵甫都明确表示愿意到整编第七十四师任职．但王的心里还是想让张灵甫到七十四师。张灵甫在稳稳地控制了王耀武这一票后，还有些不放心，又在南京就近走俞济时的门路，主动上门请其代为周旋。俞济时曾经担任七十四军第一任军长兼五十八师师长，系俞飞鹏之侄，与蒋介石既是同乡又有师生关系而兼瓜葛之亲，自调总统府任第三局局长后，权势日大。七十四军改为整编第七十四师时，俞也有意掌握该师，以进一步增强自己的实力，见张灵甫主动前来，非常高兴，那次谈话也很投机。事后，便向蒋介石力保张灵甫当整编第七十四师师长。王和俞力保张灵甫，李天霞尽管花了很多钱，就任七十四师师长的梦想最终还是落空了。经过这个回合的争斗，张灵甫与李天霞虽然表面上没有什么，但心里的矛盾却非常突出。有了这层关系，让张灵甫听李天霞的指挥，他说什么也放心不下。
当整编第七十四师到达桃圩、蒙阴一线时，张灵甫向汤恩伯请求归黄百韬指挥。汤恩伯知道强扭没什么好处，就同意了张的请求。然而，张灵甫自视甚高，虽然他自己提出配合黄作战，但并不能与黄很好合作，作战过程中也不服从黄的调度。当张灵甫准备进出坦埠时，先派兵力抢修垛庄至坦埠的公路。黄百韬认为这样做会暴露企图，遂加以制止。张灵甫不但不听，反而说：“暴露岂不更好，我正是要引匪前来。
5月13日整编第八十三师、七十四师、二十五师、六十五师由界牌、垛庄、桃圩、蒙阴之线开始北进，整编第六十四师控制于临沂。当整编第七十四师到达坦埠以南地区时，黄百韬发现解放军主力由蒋峪、悦庄南下，黄百韬即电令张迅速撤退至垛庄、桃圩之线，控制天马岭，右翼紧靠整编第八十三师，左翼接整编第二十五师。张灵甫不以为然，自恃整编第七十四师战斗力强于任何部队，对黄百韬说：“找解放军的主力还找不着，现在他们来得正好，让我吸住它。”在其后的部署上，张也是自以为是，退至孟良崮后便准备固守，并放弃了天马岭据点。黄百韬当即指出：“你的装备重、车辆多，怎能上得山？山上没有水，你怎么办？”张灵甫哪里听得进黄的良言相劝，引用了其旧中国参谋长劝他时的话说：“此虽孤山，但地形险要，我们可以置之死地而后生。”
张灵甫刚愎自用，不听黄百韬的，还有他自己的一套理论，黄百韬也只能任由他去。黄百韬私下里对亲信将领说：“张灵甫自视太高，我拿他没办法，但愿他不要成了失街亭的马谡。”然而，这样一来，汤恩伯原定的计划便不能实行了；按照汤恩伯的意图，原准备“以沂水支流为屏障，合第八十三、七十四、二十五、六十五等四个整编师，固守界牌、蒙阴之线，另以七十四、二十五两个整编师各一部，固守天马岭、蛤蟆岭，阵如长蛇，击头则尾应，击尾则头应，击张则首尾之八十三、六十五两整编师从两翼包围，席卷而来，待解放军攻势顿挫，转移攻势”。现在，张灵甫自行其是，打破了汤恩伯的计划，大家都得围着他转了。
此后的行动中，张灵甫不但不听黄百韬的节制；还想让黄百韬、李天霞等人配合他的行动。当七十四师与我华东野战军主力接上火时，他一面指挥部队抗击，一面要求二十五师、八十三师向他靠拢。然而，他未免太天真了，黄百韬还好说，与其结怨甚深的李天霞又怎么能积极挽救他？当七十四师向蒙阴进攻时，整编第八十三师本来担任他的右侧掩护任务，按照蒋介石、汤恩伯的部署，整编第八十三师应当以一个旅（少一个团）进出沂水西岸，确保七十四师的右侧安全。但是，整编第八十三师师长李天霞恨透了张灵甫，他并未按照蒋、汤的命令行动，只令整编第十九旅五十七团（团长罗文浪）掩护七十四师右翼。
整编第七十四师被围后，蒋介石吃惊不小，但他也认为这是与我华东野战军决战的好机会。于是，急令临近部队向张灵甫靠拢。此时距张灵甫最近的是左翼黄百韬的整编第二十五师和右翼李天霞的整编第八十三师。在蒋介石、汤恩伯的督促下，黄百韬指挥整编第二十五师向孟良固方向拼命攻击，在复浮山、蛤蟆岭、界牌、天马岭一线，与解放军阻击部队展开激烈争夺，企图从桃圩东救出整编第七十四师。15日上午10时，黄百韬以本师第四十旅两团的兵力，在飞机大炮掩护下，分三路猛攻解放军界牌阵地，前后发起四次冲锋，均被击退。16日晨，黄百韬又以本师第一O八旅全部、第四十旅一个团以及整编第六十五师的四个营的兵力向东增援，拼死攻打，在付出重大代价后，终于攻占了三山店、交界墩、界牌等地，接着又向隔开孟良固与外界联系的最后一道山——天马岭发动攻击。然而，就在黄即将得手之际，解放军的增援部队及时赶到，打破了黄百韬救出张灵甫的梦想，黄终于未能跨越天马岭。16日下午4时，整编第七十四师被全歼于孟良崮，黄百韬害怕遭受同样的命运，赶紧命令部队后撤。
李天霞可不像黄百韬那么卖力气。12日黄昏，七十四师由蒙阴南撤至垛庄东孟良崮山地时，李天霞部五十七团团长罗文浪接到张灵甫电话，问他沂水西岸是哪支部队。罗文浪不敢直说，只是支吾其词。张非常愤怒，说：“你们搞的什么名堂？现在右翼出了毛病，我们有一个旅没有下来，共军大部已过了河，形成包围。我已向国防部告了状，出了事，你们要负责任。”暴躁归暴躁，发火归发火，但大难临头，他知道这不是他耍威风的时候。于是，又以比较缓和的语气说：“霞公（指李天霞）是我的老长官，他上次受了处分（指在苏北作战失败，李受到撤职留任处分），我心里也非常难过。’他现在又来耍滑头，希望你告诉他，要以党国大局为重，赶快设法补救。我只等五十七旅撤下来，站住脚就不怕了，消灭了解放军的主力对大家都有好处。”
张的这些话，罗文浪当时没有向李天霞转达，他很清楚李的想法，即使是马上把张的话告诉李天霞，李也不可能采取什么积极措施。另外，他也有他的想法。罗文浪本不是李的旧部，他所带的这个团是在苏北曾经两度被解放军歼灭的残破部队，其中的第三营还是由伪军改编补充的。苏北失败后，该团前任团长被俘，无人收拾残局时，李天霞才命师参谋长罗文浪接任团长。当时，这个团装备不全，士气低下，是全师战斗力最弱的。然而，自进入山东以后，李总是以这个团打头阵。李天霞想的是：纵然这个团再打没了，于全师实力无损，而他还可以以顽强作战损失一个团为借口向上面邀功。司马昭之心，路人皆知。李的居心是十分毒辣的，罗文浪哪能不明白？
罗文浪与张灵甫通电话后，又接到汤恩伯的电话。汤询问垛庄的情况，说：“据飞机侦察报告，垛庄已有敌军，究竟如何？”罗说：“垛庄并没有敌军，现在驻的是七十四师的辎重营和通讯营，我刚才还和七十师通讯营廖营长通过电话。”汤恩伯又说：“请你转告七十四师，垛庄一定要派步兵确实占领。”罗文浪当即把汤的意思转告了七十四师副师长蔡仁杰。然而，此时的七十四师后撤已经非常混乱，根本无力顾及垛庄，只将部队摆在了孟良崮一带山地。
12日晚9 时许，罗文浪接到李天霞的电话，询问前方情况。通话快结束时，李高深莫测地对罗说：“夜间作战要多准备向导，特别注意来往的道路，要多控制几条。”罗文浪不明白李的意思，然而还没等他问个究竟。李又说：“你是很机警的。”罗不问了，他全明白了，这是李在向他暗示，意思是说，一旦有战斗就叫他率部后撤。
然而，李天霞就是李天霞。他很清楚张灵甫的七十四师在蒋介石心中是什么分量，他不愿看到自己的部队受损，但也不愿使自己在战后处于不利境地。在和罗文浪通完电话十几分钟后，他又通过十九旅杨旅长向罗文浪转达命令，指示道：“五十七团占领现阵地，要确保七十四师右侧安全，并归七十四师师长张灵甫就近指挥，除电张师长外，特令遵照。”两个电话的内容显然是矛盾的。罗文浪不知道该怎么办了，他把李天霞刚才电话中的指示向杨报告。杨也不敢决定，叫罗直接向汤恩伯请示。罗好不容易才接通了汤恩伯的电话，汤没等他说明白就作了回答：“所有部队都不许动，我已令各师分途进击。”罗文浪为难了，显然，李天霞给他出了个没办法解决的难题。李天霞一方面公开下令叫他归张灵甫指挥，一方面又用电话暗示他后撤。很明显，这是李的花招，一旦出了问题上面追究责任，李必然要以他为牺牲品。想到这里，罗知道只能自己决定自己的去向了，他决定尽一名军人的责任。
其后的战斗中，罗文浪的部队没有撤退，最后与张灵甫的七十四师一道被解放军歼灭，而他自己则成了众多俘虏中的一员。
5月14日清晨．解放军完成了对整编第七十四师的分割包围，七十四师陷入绝境。李天霞的整编第八十三师，不但没有向七十四师接近，反而率先向青陀寺方向撤退，靠近整编第六十四师，以图自保。华东解放军乘机逼近，以约两个纵队的兵力迂回蒙山西南，直向界牌、桃圩的后方围攻，使得准备靠近张灵甫的整编第二十五师，第六十五师的左、后、右三方面均受到威胁。那些部队想接近张灵甫更困难了。16日下午4时，整编第七十四师被全歼于孟良崮。
张灵甫临死之前，伙同指挥所里的一群军官制造了一场尽忠闹剧。5月15日夜，华东野战军发起总攻，强大的炮火轰击过后，解放军从四面八方向盂良崮攻来。七十四师只剩下几个山头，仍在负隅顽抗。第二天下午2时，整编第七十四师全线崩溃，师、旅、团、营全部失去了通信联络。张灵甫见败局已定，便先用无线电台向蒋介石报告，诉说友军见死不救，尤其是“李天霞没有遵照命令派出部队掩护右侧安全，乃为失败的主因”，还将指挥所里副师长以下、团长以上的军官姓名报告蒋介石，说要“集体自杀，以报校长培育之恩”。
张灵甫话虽说得刚强，行动起来却不果断，副师长以下的其他国民党军官更是不甘心就此“杀身成仁”。正当他们吵吵闹闹作不出决断时，解放军战士已经冲到了洞口。洞里的卫士负隅顽抗，解放军战士随即用冲锋枪、手榴弹还击，尔后顺势冲了进去。混战中，张灵甫与一些军官当即被打死，未死的不再反抗，高举双手做了解放军的俘虏。
“王牌军”整编第七十四师被歼，黄埔系大哗，蒋介石亦十分恼怒，痛心疾首地说：“孟良崮的失败，是我军剿匪以来最可痛心最可惋惜的一件事。”王耀武表示：“对七十四师之失，有如丧父之痛。”蒋介石痛恨黄百韬、李天霞等未能救出张灵甫及七十四师，遂召开军事检讨会查究责任。黄百韬为保全自己的头颅，主动找到汤恩伯，声称一切责任由自己一人担负，与汤无关。汤恩伯此时正苦于无法交代，见黄自愿承担责任，深深为之感动。在蒋介石召开的检讨会上，极力为黄洗刷，力陈张灵甫不听指挥，骄傲自大，自作主张，才招致全师覆没的后果。同时，顾祝同为顾全自己的面子，在会前就指示黄百韬，到会上大胆报告当时张灵甫违抗命令、擅自行动的情形。黄经充分准备，在会上侃侃而谈，义愤激昂地演讲了两小时之久，并谎称自己部队伤亡人数达16000多名。黄的演讲有理有据，听者无不为之动容。就这样，黄最后只得了个撤职留任的处分，免去了一场杀身之祸。李天霞素来“善于收拾败后残局”，这次也不例外，经过多方努力，最后也只受了个处分。
三、乱枪击毙张灵甫
华东野战军与国民党军队激战数日，至16日，全歼了蒋军号称“五大主力”之首的整编第七十四师，其师长张灵甫也一命呜呼，命丧黄泉。
“运输师长张灵甫，工作热情又积极，运武器，送弹药，慰问我参战野战军……蒋介石的‘大红人’，你替狗卖命见阎王……”5月16日，时值黄昏，解放军战士扛着战利品；押着俘虏，一路哼着小调一队一队地走下山来。
此时，设在山下的华东野战军第四纵队司令部指挥所里仍在忙碌着，接线员频频接到各部队打来的报捷电话，参谋人员忙于统计我军伤亡情况和各部队战绩。据一线部队打来的电话称：“张灵甫自杀了！张灵甫自杀了！”听此消息，指挥所里人头攒动，指战员们奔走相告，拍手称快。被陶勇司令员称为“小白脸”的保健医生盛政权也情不自禁地狂呼着：“噢——，打胜仗了，张灵甫自杀了！”然而，有一个人没有激动，他就是四纵队司令员陶勇。
“是自杀吗？”当战斗，前沿报捷的电话又一次打来时，陶勇一把抓过电话，紧锁双眉，操着浓重的安徽霍丘口音大声询问。
“报告司令员，是俘虏讲的。”听司令员问得严肃，电话那头未敢肯定，只是说出了消息的由来。
陶勇司令员没有多说什么，在指挥所里走来走去，一支接一支地抽着香烟，室内烟雾腾腾。