粟裕认为，如仍去打敌第7军和48师，敌主力将继续对我军实施中央突破，我军反而会陷入两面作战的困境。只有消灭敌74师，才能挫败敌整个作战行动，改变战场态势。74师十分猖獗，绝对想不到我军会拿它开刀，可收到出奇制胜之效。蒋军虽队形密集，但74师是前锋，已有稍微突出，我军在其正面有5个纵队，兵力对比是5比1，我占绝对优势。眼前地形又是山区，74师的重火器无用武之地。其侧翼蒋军部队一贯受其欺凌，不会下死力救援。
粟裕同时也指出，我军要取胜必须做到两点，一是攻击部队要能攻得下74师，二是阻击部队要能挡得住增援之敌。74师与其两翼部队的距离只有10华里，与其他敌人也只有一天的路程。在强敌林立中硬把74师活活分割出来消灭，需要勇气和决心，指挥上更不能出错。
听完粟裕的分析，野战军其他首长陷入思考。的确，敲掉74师并不是一件说做就做得成的事。74师是国民党王牌军中的王牌，我军一些部队曾与其交过手，并没占到便宜。
就在众人沉默之时，只见陈毅猛地拍了一下桌子，大喝一声：
“对！我们就是要有百万军中取敌上将首级的气概！”他把帽子往桌子上一扔，又道一声：“不走了！”华野各部队本来已接到了转移的命令，现在临时改变了计划，自然少不了一番忙乱。最忙的要算野司的参谋们。他们有的骑马，有的骑自行车，还有的跑步，前去通知1纵、4纵、8纵、9纵和特纵的领导们立即来野司接受新任务。同时，又给2纵、3纵、7纵、10纵和鲁南敌后的6纵发出电报。
我军的具体部署是：以1纵、4纵、6纵、8纵、9纵共5个纵队围歼74师，以2纵、3纵、7纵、10纵共4个纵队担任阻援，另以特种兵纵队集结，作预备队。
战役定于5月13日发起。
孟良崮位于蒙阴东南60公里的芦山山区顶峰，高500余公尺。芦山山区东西宽40至50公里，南北纵深30至40公里，山区南临蒙、临公路，北临汶河和蒙、沂公路，东临沂河和临、沂公路。
山区怪石嶙峋、陡岩峭壁，山势险峻。
，担任向第74师两翼迂回穿插的是第1纵队和第8纵队。5月13日晚，两个纵队从阻击进攻之敌的阵地出发，一面以小部队实，施反击的动作来迷惑正面的敌人，一面以主力多梯队的部署寻隙向蒋军纵深挺进。到14日上午，第1纵队逼近了蒙阴城，攻占了天马山等点，割裂了第74师与第25师的联系；第8纵队进占桃花山等要点，割裂了第74师与83师的联系。
远在鲁南的我第6纵队于12日夜由铜石山西南地区向东北急进，行程100多公里，如飞兵一般于14日到达垛庄，关闭了74师后退的大门。
担任正面攻击的是以著名的新四军战将陶勇为司令员的第4纵队和猛将许世友为司令员的第9纵队，两个纵队以猛虎下山之势，于13日夜向企图攻占坦埠的第74师发起反击。经过激战，一举占领黄鹿寨、佛山、马牧池、隋家店等要地，进逼孟良崮地区。
5月15日拂晓，我军各部队接上联系，把74师围得像铁桶一般。
往常，战役进行到这时，敌人就算消灭了。现在，从陈毅、粟裕到各级战场指挥员，谁都不敢松口气。因为，能不能吃下74师，能不能挡住近在咫尺的敌人的增援，仍是未知数。虽然我以5个纵队包围了74师，但蒋军却又以10个整编师包围着我军的9个纵队。
第74师被我合围之后，蒋介石、顾祝同等虽然感到吃惊，但认为74师战斗力强，所处山崮险峻，易守难攻，两翼援兵靠得较近，是与我决战的好机会。于是蒋介石一面令第74师坚守现有阵地，缠住我主力部队，一面严令四周的第11师、第65师、第25师、第83师、第7军和第48师等部，急速靠拢第74师；同时又令第5军自莱芜南下，第20师、64师由鲁南向垛庄、青驼寺前进，第9师自大汶口向蒙阴前进。企图集中兵力夹击我军，在沂蒙山区与我主力决战。
再说74师师长张灵甫，自恃自己部队战斗力强、寄希望于各路增援部队，迅速调整了部署，固守山崮，死地求生。
15日这一天最为紧张，我军猛烈进攻，74师拼命反击，双方都是以主力对主力，以进攻对进攻，都企求全力、尽快战胜对方。我军攻击部队在强大炮火掩护下，从四面八方像潮水一般涌向蒋军阵地。蒋军拼死顽抗，我攻击部队同蒋军搅成一团，每一阵地都经过反复争夺。有的得而复失，失而复得，几次易手。我参战部队以“攻上孟良崮，活捉张灵甫，歼灭第74师”为目标，前仆后继，奋勇争先，越战越勇。蒋军开始顽强抵抗，以后渐渐支持不住了，张灵甫曾经梦想的“中央开花”逐渐成了泡影。
这时，国民党军的援军也围逼上来，但是在我阻援部队的顽强防御和积极反击下，或被歼灭，或伤亡惨重。其中蒋军的两个王牌部队第11师和第5军被我第3、第10纵队紧紧咬住，动一步都十分困难。由于我阻援部队顽强作战，被阻的蒋军各部都误以为自己遭到我主力部队的围歼，都拼命呼救，要对方给自己增援。于是在蒋军各部队中出现了谁都以为自己是主战场，自己是我军求歼的主要目标，频频出现相互呼救求援的滑稽场面。
蒋介石这时候着急了，他以“如有萎靡犹豫，逡巡不前或赴援不力，中途停顿……必以纵匪害国贻误战机论罪，决不宽容”的严词，威胁各部队。汤恩伯更是致电各军，称张灵甫是“孤军苦战；处境艰危”，各部应“救胞泽于危困，不得见死不救。”
然而无论是恐吓还是恳求，蒋军的增援部队在我军铜墙铁壁一般的阻击部队的阵地前，始终一筹莫展，仅10华里的距离，就如千里之遥，各路国民党部队只能看着74师的覆灭。
张灵甫见增援无望，只好突围逃命。开始向东南，想与第83师靠拢，但立即被我第8纵队击退；接着改向西突围，想向第25师靠拢，又被我第1、第6纵队击退。黄昏后，其残部龟缩在520高地至芦山一线的沟、崮之中。这一片的山地全是岩石，难以构筑工事，人员、马匹、辎重完全暴露在我军的强大火力之下了。
我攻击部队集中强大炮火猛轰敌群，山上一片火海，血肉横飞，第74师的残余人马东躲西藏，互相践踏，争相逃命，战斗队形完全混乱。张灵甫和他的少数人员藏在一个山洞里，拼命向南京呼救。我各路攻击部队乘机突人蒋军阵地，以白刃格斗消灭残敌。
战至16日上午，敌主阵地各制高点全部被我攻占。
正当我军各部队沉浸于歼敌的兴奋之中时，粟裕却异常冷静，虽然他已连续几天没有睡一个好觉，头疼困倦，依然细心地关注着战场的细枝末节。当他把各纵队歼敌数字加以统计时，发现歼敌数与74师的在编人数差了几千人，便立刻下令各部队继续搜索，不得放走一个敌人。
当时乌云密布，山雨欲来。在一条隐蔽的山沟里，果然发现了有7000余名敌人已集结完毕，准备突围。我军各部不顾疲劳，立即行动，全歼了这股残敌。
至此，号称国民党军“五大主力”之一的第74师彻底被我歼灭了。我军俘第74师正副参谋长、第51旅正副旅长、第57旅副旅长等以下官兵19676名；毙敌中将师长张灵甫、少将副师长蔡仁杰等以下官兵13000余名，加上阻击部队毙伤敌6000余名，共歼敌3．8万余人。缴获各种炮267门，各种枪1．3万多支，战马1300多匹。
孟良崮战役歼灭第74师的胜利，极大地震动了蒋军，蒋介石在痛悼第74师时说“这是最可痛心最可惋惜的一件事”。王耀武则称“74．师之失，有如丧父之痛”。蒋介石恼羞成怒，把失败的责任归咎于下属，第1兵团司令汤恩伯被撤职，陈诚被降为东北行政公署长官，李天霞被送上军事法庭，就连在增援中极其卖力的第25师师长黄百韬也被斥为“救援不力”而受到了处分。
张灵甫在国民党军将领里是极为骄狂的。他的74师与美国“王牌军”第7骑兵师的装备是一样的。有一年，两军搞了两次对抗演习，74师均获优胜。张灵甫对美军师长说：“你是一名出色的美国将军，但和我相比，只能是将与帅之比。”
美军师长不服，于是两军又搞了一次对抗演习，74师以更明显的优势取胜。美军师长服气了，不敢再比试了。当时美国派到中国的“调停大使”马歇尔竖起大拇指说一声：“very good！”当时也在场的蒋介石得意地指着张灵甫说：“这是我的王牌！”随后，74师被蒋介石任命为京城守备师，号称御林军。
然而，张灵甫也有他看重的对手，他对解放军战略战术也颇有研究，对解放军中的优秀指挥官也相当了解。尤其对粟裕更是心存怯意。一次席中闲谈，副师长蔡仁杰问他：“师座，当今中国军界中，谁人可与师座相比？”也许是酒后吐真言吧，张灵甫脱口而出：
“粟裕。”
“一个土八路出身的角色，有什么了不起的？”蔡仁杰很不以为然。
张灵甫却认真地说：“此人用兵，狡猾异常，常常在你想不到的地方、想不到的时候狠狠地咬你一口。”
粟裕在苏中指挥我军七战七捷，没有与74师照面，张灵甫只是在心里头与粟裕过招，对粟裕尚不服气。当莱芜战役粟裕指挥部队三天歼敌7个师后，张灵甫感到自己可能不是粟裕的对手了。
不知是出于胆怯还是其他什么原因，张灵甫竟向蒋介石提出74师休整，蒋介石不允；张灵甫又以“本师装备不适合山地作战”为由，请求将74师调到东北或西北战场。这个请求又被蒋介石拒绝了。
其实东北也好，西北也好，哪里没有山地呢？张灵甫躲的不是山，而是人。