1937年，震惊中外的“芦沟桥事变”发生后，全国抗战呼声日渐高涨，南京国民党政府在中国共产党和全国人民团结抗日的呼声中，不得不打出抗战救国的旗帜。不久，国民党政府下令：所有服刑官兵除“政治犯”外，一律调服军役，戴罪立功，并保留原来军衔。曾任过张灵甫上司的王耀武乘机向蒋介石求情，说：“张钟灵这个人作战很有本事，现在抗战需要干部，把他给我吧？”蒋介石本来也不忍心惩办自己这个学生，便说：“那就交给你，但要好好教育他，让他重新做人。”这之后，张灵甫便到了王耀武手下，在第七十四军五十一师任上校候差员，登记时将原名张钟灵改为张灵甫。
“八·一三”淞沪会战前夕，张灵甫就任第七十四军五十一师一五三旅三O五团团长，随王耀武开赴前线，参加上海保卫战；次年，又参加了武汉保卫战，在江西德安阻击日军。7月，日军一O六师团沿南浔铁路南进，占领德安。9、10月间，王耀武命令第一五一旅旅长唐生海指挥张国献的第三O二团、张灵甫的第三O五团、常海德的第三O六团反攻德安张古山之敌，阻止日军南进。研讨作战方案的会议上，有人认为：张古山地势高峻，位置险要，易守难攻；我方没有重炮，单凭正面仰攻，必然伤亡很大，难于完成任务。张灵甫力排众议，提出仿效《三国演义》中邓艾偷渡阴平进攻西蜀的做法，挑选一批精干将士组成突击队，从张古山之背后突破，实施两面夹攻。他的这一方案最后得到王耀武的赞同。之后，张奉命带领突击队从背后攻击。
战斗开始后，张率领部队攀藤附葛，从人烟绝迹的崎岖峡谷偷渡而上，配合正面进攻部队夹击日军，很快夺取了张古山。日军随后在飞机、重炮掩护下组织反扑，把张占山阵地炸成了一片焦土。张灵甫团与其他部队顽强战斗，白天退却，晚上反攻，与敌人反复争夺了五昼夜。作战中，他腿部受伤，仍坚持指挥战斗，受到官兵们的敬仰。战后，他升任第一五三旅副旅长，不久升为旅长。
1939年，第七十四军奉命入赣作战，参加反攻南昌的战役。当时，春雨连绵，道路泥泞。张灵甫带领第一五三旅官兵一路急行军赶赴江西锦江。途中，他见官兵衣衫尽湿，颇有怨言，便命令部队适当延长休息时间。宿营时，他亲自到各连、排慰问，并拿出自己的薪水交给军需官资助改善部队伙食。官兵们深受感动，加快了行军速度，及时赶到了锦江前线。4月下旬，在第五十一师师长王耀武的统一指挥下，第一五三旅协同各旅、团连克数城，直逼南昌外围。6月，张灵甫任第五十一师步兵旅指挥官、作战中再次表现出良好的指挥才能。1940年，张升任第五十八师副师长。
1941年，在上高会战中，第七十四军作为决战兵团，负责正面防守，张灵甫所在的第五十八师奉军长王耀武的命令牵制日军。张灵甫协助师长廖龄奇指挥作战，命令战士挖陷阱、埋地雷，积极阻止敌人的车辆和重武器移动；组织机枪火网或白刃格斗，对付敌人的步兵冲锋，消耗敌人的有生力量。由于日军飞机、大炮多，攻势凶猛，作战中第五十八师官兵伤亡众多。当第一七二团团长向师部打电话请示后撤时，张灵甫坚决地命令说：“哪怕打到最后只剩下你一个人，也必须给我守住阵地！”放下电话，他随即赶赴前沿阵地，帮助出谋划策，与团长一起指挥部队坚守阵地。这次战役，第五十八师以2000多人伤亡的代价，协同第七十四军其他部队在上高县、北下陂桥顶住了敌人的攻势，会战结束后，第七十四军获国民政府授予的“飞虎旗”奖，王耀武、施中诚、张灵甫等也都受到嘉奖。
同年冬，张灵甫升任第五十八师师长。
1943年11月，日军集中近十万兵力，从石首、藕池口、弥陀寺出发进攻常德。张灵甫率五十八师在常德以北阻击来犯之敌。17日拂晓，日军三十四师团佐佐木支队、十三师团等部向扁担垭、赤松山、亚门关发动猛烈攻击。开始时，五十八师官兵面对强敌，心中不免胆怯。针对这种情况，张灵甫召集全师官兵进行动员。他说：“我们和日本鬼子作战不仅要斗勇；而且要斗智。日军有强点也有弱点，只要我们多动脑子，就可以打败他们。”战斗开始后；张灵甫亲赴一线指挥作战。经过一昼夜的战斗，日军寸土未进。张灵甫见官兵十分疲劳，便将部队换下来休息。但他没有休息，考虑到日军正面进攻未能得逞，夜晚可能会来“偷营劫寨”，便命令作为预备队的第一七三团调拨一个营埋伏起来，防止敌人袭击。果然，半夜日军的一个联队化装成便衣队，从羊角山左侧迂回袭击过来。这个预先埋伏的营适时攻击，歼灭日军大部。就这样，张灵甫指挥第五十八师阻止了日军二次又一次的进攻，有力地支援了常德的正面防御作战。战后，张灵甫获国民政府授予的四等云麾勋章。
长衡会战展开后，张灵甫率领第五十八师从湘潭公路的青树坪转到衡宝公路，参加衡阳外围战斗，主攻鸡窝山日军据点。1944年7月下旬，他令第一七三团担任侧翼掩护，第一七二团在军山炮连和师迫击炮营的配合下，对敌人施行强攻，占领了鸡窝山。接着，张指挥所部向衡阳进逼，抵达市郊五里牌。这时，守卫衡阳的第十军军长方先觉突然向日寇投降，坚守47天的衡阳终于陷落。但张灵甫作战有功，战后获得了三等宝鼎勋章，不久升任第七十四军副军长。
这年下半年，张灵甫被选拔到陆军大学将官班受训。当时，他是少将级副军长，本来只能进乙级班，因为他在作战中表现突出，蒋介石特批他进入甲级班，成为该班惟一的少将级军官。张灵甫毕业时，抗战已经取得胜利，他又回到了第七十四军。不久，七十四军驻防南京。在这里，张灵甫经人介绍，与女大学生王玉琳结婚。
1946年6月，张灵甫出任第七十四军军长，并兼任南京警备司令。第七十四军配置清一色的美械装备。多次接受美国军事顾问训练，时称为国民党部队“五大主力”之首，宋美龄经常代表蒋介石到该部视察、抚慰官兵。当时，该军驻在孝陵卫，卫戍国民政府所在地南京，被称为“御林军”。国民党整军会议后，七十四军改编为整编第七十四师，尽管编制是由军到师，但实力仍然有30 000多人，而且装备还得到了新的改善。蒋介石、陈诚都奉其为“国军模范”。部队改编时，蒋介石选“御林军”的统领时，有好几个人艳羡这个肥缺。大家都知道，能被任命为这个师的师长，不但意味着个人实力的增加，而且意味着个人在老蒋心目中地位的提高。因此，竞争十分激烈。当时，对张灵甫威胁最大的是李天霞。李是钱大钧的死党，为得到这个位置，李花费了大量钱财。但是，王耀武、俞济时为控制该师，力保张灵甫任师长。王耀武在老蒋心目中，的形象一直不错，俞济时是老蒋的小舅子，说话当然也有些分量，所以最后还是张灵甫胜出了。为此，李天霞一直怀恨在心。
1946年夏，蒋介石挑起全面内战，向解放区疯狂进攻。张灵甫率整编第七十四师向苏北解放区进攻，连占宿迁、泗阳、淮阴、淮安等城，获三等云麾勋章。当时，张的直接上司是李延年，李吹嘘说：“有十个七十四师，就可以统一全中国。”王耀武也夸口说：“中国军队只有七十四师能战，是我亲手培养起来的。”10月19日，张灵甫又率部进犯涟水，受到华东野战军第六纵队的迎头痛击，损失不小。为挽回面子，张于12月16日再犯涟水。这一次，由于六纵事先部署兵力不足，蒙受了重大损失。事后，张灵甫以为自己真的是所向无敌了，骄气十足，不可一世。他向蒋介石夸口，誓要让“新四军死无葬身之地”。
1947年4月初，国民党集中25万人，组成三个机动兵团由顾祝同坐镇徐州指挥，沿临沂至泰安一线齐头北进，企图—举摧毁华东野战军主力于沂蒙山区。张灵甫率七十四师在第—兵团司令汤恩伯部编成内北进。张灵甫的七十四师担任主攻任务，向坦埠进攻，李天霞的整编第八十三师居右，黄百韬的整编第二十五师居左，拟从侧面围击华东野战军主力。
在敌人大军压境、大举进攻面前，华东野战军司令员兼政治委员陈毅和副司令员粟裕等战区指挥员，根据毛泽东的指示，积极调动敌人，创造战机，寻机歼敌。5月，华东野战军以“从百万军中取上将首级”的气魄和胆识，从敌人密集的进攻队形中挖出了张灵甫的整编第七十四师，于孟良崮地区将其全部歼灭，张灵甫被我军战士乱枪击毙。
张灵甫死后，被埋在山东沂水野猪旺村后的山冈上，坟前竖一木牌，上写“张灵甫之墓”。