全面抗战爆发后不久，邓小平接替张浩任一二九师政治委员，他与师长刘伯承一道指挥部队开展敌后山地游击战争。历经一系列战斗，创建了晋冀鲁豫抗日根据地。
1937年，日本帝国主义向中国发动了全面的侵略战争，大敌当前，“兄弟阋于墙而外御其侮”，国共两党实行了第二次合作。中国工农红军改编为国民革命军第八路军，朱德任总指挥，彭德怀任副总指挥，下辖一一五师、一二○师、一二九师。邓小平任八路军政治部副主任。1938年1月，毛泽东和中共中央为加强一二九师的领导，在刘伯承推荐下，特派邓小平担任一二九师政委，师长是刘伯承。刘伯承长邓小平12岁，既是同乡又是同一属相。从此二人一起并肩战斗，一直到中华人民共和国成立后的1951年。两人在一起，一个主军，一个主政，成为一对配合默契的好搭挡，结下了深厚的友谊。有人曾说：刘邓之间，是难以放进一个“、”号的。
邓小平在刘伯承逝世后，所写的《悼伯承》一文真情地坦露了二人的深厚友情。邓小平写道：“我们一起工作，是一九三八年在八路军一二九师。一个师长，一个政治委员。以后在晋冀鲁豫野战军，中原野战军、第二野战军，前后共事十三年，两人感情非常融洽，工作非常协调。我比他小十多岁，性格爱好也不尽相同，但合作得很好。人们习惯地把“刘邓”联在一起，在我们两人心中，也觉得彼此难以分开。同伯承一起共事，一起打仗，我的心情是非常愉快的。”
在邓小平来到一二九师之前，一二九师已根据中共中央关于建立以太行山为依托的抗日根据地的战略部署，于1937年10月在刘伯承、徐向前的率领下，转战同蒲、正太路沿线，挺进太行山地区。1937年11月8日，太原失守，这标志着在华北以国民党军队为主体的正规战争已经结束，进入到以共产党领导的游击战争为主体的新阶段。正是在这一带有全局性意义大转变的时刻，邓小平来到一二九师，参与领导太行山抗日根据地的创建。
1938年，邓小平(左二)任八路军一二九师政治委员。2月6日，邓小平与刘伯承在辽县召开了一二九师团以上干部会议。在会上，邓小平总结了敌后游击战争的特点，并提出了今后对日寇作战的一些战术指导原则。
2月中旬，日军为配合其津浦路作战，并趁机进攻西安、陕北，集中了3万余兵力，分别从平汉、同蒲、道清等铁路线向晋南、晋西发动进攻。面对敌人的进攻，为了破坏日军的战略计划，扩大敌后抗日根据地，刘伯承、邓小平当机立断，果断决策，于2月22日指挥发动了长生口伏击战，击毙日军130余人，毁汽车5辆。随后，刘邓立即率一二九师向晋南转移，寻机歼灭敌人。
3月，刘邓运用了“攻其所必救，歼其救者”的说法，发动了神头岭战斗。16日拂晓一二九师一部袭击黎城，刘伯承、邓小平率另一部埋伏在神头岭伏击了增援日军一○八师团笹尾部队、一一六师团林清部队的1500人，除100余人逃脱外，余部悉数被歼。这一战充分显示刘邓二人运筹帏幄，多谋善断的高超军事指挥水平。长生口、神头岭两次战斗的胜利，大大震惊了日本侵略者。他们不得不承认刘邓二人指挥的这两次战斗显示出了“第一流战术”、“八路军游击战的典型战术”。足见二人在军事指挥上的高超过人之处。
1938年3月上旬，日军又攻占了临汾、汾阳等重要城镇，打通了邯(郸)长(治)大道和同蒲铁路段，进入晋东南和吕梁山区，并继续向晋西黄河各渡口猛进，这样邯长大道和从长治至临汾的公路就成了日军的一条重要的交通运输线。为了破坏敌人的战略计划，迟滞其行动，邓小平与刘伯承、徐向前决定在适当地点，对敌运输部队进行一次较大的伏击。经过反复侦察，确定在车阳关和涉县之间的响堂铺一带伏击敌人，刘邓周密部署，亲临前线，于3月31日伏击了日军车队。这次战斗由于刘邓指导有力，组织实施得法，取得了辉煌战果，毙伤日寇400余人，烧毁敌汽车180多辆，缴获步枪300多支，轻机枪10多挺，追击炮4门，弹药甚多。前来观战的国民党高级将领对八路军游击战的战略战术和指挥艺术极为赞赏。
邓小平与刘伯承、徐向前先后组织并指挥的长生口、神头岭、响堂铺三次伏击战，沉重打击了侵入晋东南之敌的凶焰，大大振奋了晋冀豫地区人民的斗志。
在刘、邓的指挥与领导下，太行山抗日斗争风起云涌，尤其是一二九师三战三捷，使侵华日军极为震惊和不安，于是决心驱逐和消灭晋东南中国军队，解除其后方威胁。4月初，日军以第一○八师团为主力，纠集了3万多人的兵力，分9路向晋冀豫根据地实施围攻，企图用分进合击的手段，将八路军主力消灭在辽县、榆社、武乡地方。针对敌人的围攻，八路军总部制定了以一部兵力钳制多路敌人，集中主力击破一路的反围攻作战总方针。
为了打好这一仗，邓小平不仅与刘伯承、徐向前召开团以上干部会议，详细研究反围攻的具体作战计划，而且积极部署战前的政治动员工作。4月上旬邓小平同晋冀豫省委在辽县召开所属各特委、工委书记与游击支队长联席会议，讨论与制定具体的配合反围攻工作计划，动员组织群众支援战争，保障后勤供应。由于动员工作得力，广大群众实行彻底的坚壁清野，同时地方游击队也不断地对各路进攻的日军进行阻击袭扰，这样就使敌人处于惶恐不安的困境，只能是“饿着肚皮跑路扑来扑去，搞不清楚我们去哪里”。
在这种情况下，一二九师和一一五师一部，在邓小平、刘伯承、徐向前的指挥下于4月16日，在武乡长乐村一带，以优势兵力截击来犯之敌一路，歼敌2200余人。长乐村战斗，是粉碎日军对晋东南九路围攻的决定性战斗，威震全国，日军因受此打击纷纷被迫回窜。接着，刘邓又率部乘胜追击，连克18座县城，先后歼敌4000余人。到4月下旬，彻底粉碎了日军的九路围攻，将敌全部赶出了晋东南。
总计，在1938年上半年晋冀豫我军进行大小战斗500余次，消灭日伪军7万余人，收复了30余座城县。这样以太行山为依托的晋冀豫地区，已基本上被我控制。随后，邓小平和刘伯承部署一二九师分兵发动群众，组织抗日民主政权，创建了晋冀豫抗日根据地。
接着，中共中央做出开展平原游击战的指示，邓小平和刘伯承、徐向前当即开会研究落实中央指示，决定由徐向前率领一二九师一部，东进冀南，发展冀南平原游击战。邓小平与刘伯承率领一二九师三八六旅，掩护徐向前部前进。随后频频击破平汉铁路，截断敌人运输线，以策应友军在徐州一带的作战。
与此同时邓小平就近指导创建根据地，并发展、巩固冀西地区国共合作抗战的局面。在邓小平等人的关心指导下各项工作进展很快，到1938年8月已建立了10个抗日县政权，并成立了冀西专员公署，根据地初具规模。同时冀西地区国、共、日、伪势力交错复杂，开展统战工作，维护统一战线局面至为重要。邓小平对这一地区的统战工作极为重视，并取得了积极成果。
冀南平原的游击战争在邓小平和刘伯承、徐向前的领导下，也得到了迅速发展。到1938年7月，冀南地区已发展到具有数万武装、30多个县级抗日政权的根据地，并成立了冀南军区与半政权性质的冀南军政委员会。
为了更有力地指导冀南地区的工作，邓小平于7月5日到达冀南。邓小平根据中央军委的指示，具体指导了对冀南部队的整编。部队经过整编后，充实了战斗骨干，加强政治工作，军政素质有了明显提高。针对国民党向八路军侵占根据地的阴谋，邓小平提出尽快公开成立冀南统一的抗日政权。经过筹划，8月中旬，冀南50多个县各界代表选举产生了冀南行政公署，9月，建立了全区的工人、农民、妇女等各界抗日救国总会。至此以南宫为中心西跨平汉铁路，东抵津浦铁路，北至沧(州)西公路，南跨漳河的冀南抗日根据地正式形成。9月下旬，邓小平离开冀南，赴延安出席中共中央扩大的六届六中全会，在会上作了关于地方工作的报告。会后，邓小平被增选为中共中央北方局委员。
在创建冀南根据地的同时，刘伯承指挥一二九师三八六旅一部和一一五师的三四四旅，出击平汉路南段、道清路西段之敌，战斗于安阳、辉县、新乡、修武等地，奠定了冀鲁豫抗日根据地发展的基础。
在刘邓的英明指挥和领导下，至1938年底，太行、冀南、冀鲁豫等根据地相继建立，统一的晋冀鲁豫根据地已成雏形。
抗日战争进入相持阶段，刘邓指挥部队奋起反击国民党顽固派的军事进攻，维护了抗日民族统一战线。与此同时，面对日寇扫荡，打破了敌人的“囚笼”战术，巩固了晋冀鲁豫抗日根据地。
1939年，抗日战争进入了第三个年头，国民党军队在正面战场上节节败退，而中共领导的敌后游击战争则如火如荼地在广大地区展开。这时日军开始停止对国民党军队的正面进攻而对其以政治诱降为主，日军开始集中兵力进攻敌后中共领导的抗日武装。
1939年1月，日军纠集3万多的兵力，分11路向冀南地区进行大规模的合围“扫荡”，妄图控制平原地区。邓小平、刘伯承、徐向前采取“先溃退后收拾”的战略战术，在敌开始“扫荡”后主动撤离所占县城，指挥地方游击队袭扰日伪军，截断其交通，使其无法立足。从1月到了3月，刘邓指挥部队作战百余次，歼灭日伪军3000余人，粉碎了敌人摧毁冀南根据地、聚歼八路军主力的企图，冀南抗日根据地在严峻考验中愈加巩固。
1938年朱德与刘伯承、邓小平研究作战计划。7月，日军又集中了5万余人的兵力对太行山地区展开了大规模的秋季“扫荡”，企图打通晋冀豫的交通线，将抗日根据地分割成数块，然后逐步压缩以消灭之。刘邓二人指挥一二九师和一一五师的三四四旅开展了“反扫荡”，共作战70余次，歼灭伪军2000余人，粉碎了敌人的分割企图。
然而正在中共领导的抗日武装反击日军“扫荡”的时候，抗日阵营内部情况出现了变化。1939年1月，国民党五届五中全会通过了“限制异军活动办法”，以“合法”、“统一”为幌子，企图扼制中共及其抗日武装在敌后的发展。与此同时还不断增派国民党军进至根据地周围，威胁根据地，妄图侵占根据地。蒋介石不断指使国民党顽固派勾结日军，在太行山北部和冀南根据地制造了一系列反共磨擦，从政治进攻逐步发展到军事进攻。面对国民党顽固派和日军的双重夹击，邓小平和刘伯承根据党中央的指示，领导全区军民，采取又团结又斗争，以斗争求团结的方针，一方面对顽军进行统战工作和斗争，一方面对顽军的军事进攻，给以坚决的反击，直至粉碎。
当时，在一二九师活动地区的国民党顽固派主要是鹿钟麟、石友三、张荫梧和朱怀冰部。针对这几人对共产党和八路军的不同态度，刘邓采取了争取石友三等部，孤立鹿钟麟的斗争策略。1939年1月16日和25日，邓小平两次亲到石友三的军部与其会谈，表明了共产党、八路军坚持与友军共同抗战的愿望及八路军绝不撤离抗日阵地、人民既得权利绝不放弃、冀南行政公署绝不取消的严正立场，当面揭露其假抗日真反共的阴谋，催促其以民族利益为重，团结抗日。与此同时帮助石友三等部解决给养困难，使其暂保中立，从而孤立了“磨擦专家”鹿钟麟、张荫梧。
1939年底，国民党的反共方针，已由“政治防共”转到“军事防共”，军事斗争一触即发。从12月起，国民党顽固派发动了抗日战争期间第一次反共高潮。1940年1月间，正当八路军专力打“虎”(指日军)之时，国民党反共顽军在各地开始动手了。朱怀冰在太行山，石友三在冀南，金宪章在榆社，分头向八路军背后偷袭。面对如此严重复杂的局面，刘邓决心打“狼”(指国民党顽军)，给其以毁灭性打击。
1月30日刘邓指挥一二九师，一举歼灭了来犯之敌阎锡山军整编第二旅1500余人，并且击毙了该旅旅长与副旅长，八路军士气大增。2月5日，邓小平又指挥部队奋起反击，歼灭了国民党第九十七军朱怀冰部和与其他游杂武装1万余人。同时刘又指挥一二九师其他部队和地方武装在平汉线以东，对反共顽军打了两次大仗，共歼敌6400余人。至此国民党顽固派反发动的第一次反共高潮被打退，极大地打击了国民党的反共气焰，使八路军有可能在敌后集中力量对付日本侵略军和开展根据地建设。
一波未平，一波又起。侵华日军看到深入华北敌后的八路军日益壮大，一二九师已从1个半旅发展到了11个旅，严重威胁日军后方，于是从1940年初开始，对抗日根据地实行“囚笼政策”。所谓“囚笼政策”，按照刘伯承的解释，就是以铁路为柱子，公路为链子，据点为锁子，把抗日根据地军民分解开来，任其宰割。
邓小平和刘伯承洞察了日军的阴谋诡计，立即召开师党委会议和干部会议进行研究，采取果断措施，反击敌人的“囚笼政策”。针对日军阴谋，邓小平和刘伯承针锋相对，号召晋冀鲁豫根据地军民“坚持华北抗战，进而打到鸭绿江边”，进一步壮大抗日力量，面向交通线进行交通破袭战，粉碎敌人的“囚笼”网。
1940年全年，刘伯承、邓小平指挥一二九师和晋冀鲁豫根据地的军民，采取重点破击与全面破击，大破击与小破击相结合的方法，进行交通破击战斗，给日军以重大杀伤，打击了其嚣张气焰。
其中的破击白晋铁路的战役，取得了巨大成果。1940年5月5日至8日，刘邓集中使用了特务团、三八六旅、平汉纵队(主力)、晋冀豫边纵队一团和三团、挺进支队等部队，参加了白晋铁路北段的大破击战。此役歼灭了日军一个警备大队，破坏了已修建成的白晋铁路50余公里，捣毁大小桥梁50余座和日军储备的一些铁路器材，还同时解放了被日寇押修铁路的1000余名工人，这一次战役的胜利大大鼓舞了抗日军民的士气，并且取得了破击战的宝贵经验，为粉碎日军的“囚笼政策”打下了基础。
这年秋天，形势更加严峻，日军不断依靠交通线，向我敌后根据地轮番进行扫荡、蚕食。这种形势下，国民党顽固派面对日军的政治诱降和军事压力更加动摇，不断制造反共磨擦。在重重困难面前，我军部分干部战士与根据地群众也产生了对自己力量估计不足的情绪，对抗战胜利自信心不足。