为了达到突然性的攻击效果，苏军注意各部队行动的隐蔽，除了制定了一套严格的保密措施外，还特别拟订出许多在战术上迷惑日军的方法。比如，隐蔽运输和集中从苏联后方调来的部队；隐蔽调动在哈勒欣河对岸进行防御的兵力和兵器；部队和物资储备要隐蔽地渡过哈勒欣河；对出发地区部队的行动地段和方向进行实地勘察；参加此次战役的各兵种必须特别隐蔽地演练各种科目；各军种兵种隐蔽地实施补充侦察；发布假情报，欺骗敌人，使其弄不清苏军的真实意图。
8月20日，星期天。苏蒙军队发起了围歼日军的总攻战役。6时15分，苏军突然万炮齐鸣，密集的炮火朝日军高炮阵地、机枪阵地进行猛烈的轰击，与此同时，部分火炮对苏军将要轰炸的目标发射了烟幕弹。
此时，诺门坎地区上空由远而近传来飞机的轰鸣声。苏军150多架轰炸机、近100架歼击机铺天盖地而来。飞机突击迅速，火力非常凶猛，完全掌握了制空权。
8时45分，苏军各种口径的火炮再度针对日军目标实施火力袭击，随后，苏空军对日军后方进行了轰炸。在开始炮击的同时，苏军指挥部通过电话和无线电台按预定的密码发布了命令——15分钟后开始总攻击。9时整，三颗红色信号弹腾空而起，苏军冲击部队从各自的进攻方向迅猛向前推进。天空中的轰炸机继续在轰炸日军炮兵阵地。炮兵掩护着步兵的进攻，继续朝日军阵地纵深轰击。日军的火力被彻底压制了，其炮兵观察所、通信联络等都被摧毁。
8月20日从早晨开始天气就很好，晴空万里，加之苏蒙军队在此之前又没有什么异常的行动，日军便允许其军官这天休假，有的甚至到海拉尔、甘珠尔庙、德普丹苏姆等地玩乐消遣。
是日，苏军铺天盖地的炮火轰击，一下子把日本人打蒙了。日军各指挥观察所、通信设施几乎全部在轰炸和炮击中被摧毁。他们根本摸不清苏蒙军队的进攻动向，处于完全被动挨打的局面。
日军不仅火炮配置上明显弱于苏军，而且后方运输力量也很薄弱，在弹药的数量上与苏军也无法匹敌。当时日军的炮兵每射击一发炮弹，苏军就反击几倍。一贯善于近战的日军，自发动侵略战争以来，似乎还未遭到过如此凶猛的炮击。日军步兵有时甚至请求炮兵不要射击，害怕遭到苏军更猛烈的还击。苏军仅在8月21日一天中，就出动轰炸机256架次，投掷90多吨炸弹。曾参加过诺门坎战役的日本教官中西原事后说：“当时的日本炮兵在反炮兵作战方面几乎是束手无策。”
发起进攻的第一天，苏军南方集群取得了最大的成功，坦克第6旅和摩托装甲第8旅包围了日军的侧翼。到8月21日，苏军占领了海拉斯台音河（哈勒欣河的支流）日军的后方地区。步兵部队还深深楔入了日军的主要防御区，摧毁了日军的战术预备队，占领了几个炮兵阵地。
苏军北方集群在8月21日占领了日军的前沿阵地，打到了工事坚固的巴列特高地顶部，但遭到日军的顽强抵抗后又退了下来。8月23日，北方集群在第212空降旅的增援下，重新夺取了巴列特高地。600多名日军被打死，战壕和掩蔽体里外到处是日军尸体。
苏军对日军的每一个火力点几乎都需要强攻硬夺，对那些躲进掩蔽体拼死抵抗的日军，就用火焰喷射器猛烧，许多日军就这样被活活闷死、烧死在地下。日军面对苏军蜂拥而至的坦克简直束手无策。早期战斗中，苏军坦克一般是以汽油为燃料，日军就用玻璃瓶灌满汽油朝坦克投掷，这样往往容易引起坦克燃烧。这次战役中，苏军不仅使用了比较先进的坦克，在燃料上也改为柴油，此外，在坦克的前面和两侧还加了防御网罩，日军投掷汽油弹一招也失去作用。日军大多是那种小型的装甲坦克，钢板薄、火炮弱、射程又不远。苏军坦克一压上来，日军坦克不是被击毁就是扭头夺路而逃。
战斗中有一件事很有趣。一辆苏军坦克在攻击中陷入沙坑中爬不上来，被日军两辆坦克围住。面对失去战斗力的庞然大物，日军决定把这个战利品带回去。于是便用钢索勾住，加大马力把苏军坦克拖出了沙坑，而苏军坦克一出沙坑就发动了，反而拖着日军的坦克跑。日本人无论怎样加大马力也没有苏军坦克的力气大。惊恐之中，日军坦克一辆慌忙松开钢索逃掉了，另一辆在逃跑中被苏军坦克击毁。
苏蒙军队只用了三天的时间就完成了对日军的包围计划。8月23日开始了围歼日军的战斗。
8月26日，日军派出增援部队，半路上被苏军坦克第6旅顶了回去。之后，被围日军企图冲破包围圈，同样遭到失败。当天傍晚，苏军装甲坦克部队和机械化部队开始分割歼灭被围的日军集团。此时日军企图等待增援的想法也破灭了。苏军空军频繁地出击，成功地阻止了日军调动新的预备队进入作战地区。苏空军仅在8月24日至25日两天就进行了218次空袭，击毁日机74架。
苏军组织了一系列的积极进攻，逐步全歼被围的日军。南方集群承担了主要的进攻任务，8月27日发动了几次进攻，拿下了贝查纳亚高地和哲伦纳亚山，肃清了海拉斯台音河左岸的敌人。同时，苏军又从后面和两侧对雷米佐夫高地发动了攻击，但日军依仗坚固的工事拼死抵抗，每当苏军几乎要接近山顶的时候，日军就会从地下工事钻出来进行猛烈的射击，打退苏军的攻击。苏军退下来后，就用炮弹猛轰一阵，发起新的进攻。苏军面对日军的地下掩体，一般也不敢贸然冲进去，那些垂死挣扎的士兵会拉响手榴弹，与冲进来的苏军士兵同归于尽。因此，苏军遇上日军的掩蔽体或山洞就用手榴弹猛轰，或用喷火器烧个透。到8月31日，这一地区被苏军全部占领。
在苏蒙军队的毁灭性打击下，侵入蒙古的日军第6军几乎全军覆没。据《苏联伟大卫国战争史》第1卷的资料，在诺门坎战役中，苏军的伤亡约1万人，而日军的伤亡损失为5.2万至5.5万人。又据日本防卫厅战史室编辑的《战史丛书·关东军》所提供的材料记载，在诺门坎战役中，作为日军第6军主力参战的第23师团遭到了惨败。参谋长、侦察队长与3名步兵联队长中，有1人战死，2人自杀。后接任的侦察队长和炮兵联队长以及在该部指挥下的重炮兵联队长、坦克联队长也都战死，第8边境守备队长战败自杀。在日第23师团总兵力15140人中，死伤及失踪者有10646人，达70.3%。再加上战争中病死的人员，损失达79%。按通常推算，如果一支部队有30%的死伤率，该部队将临时陷入瘫痪，不能再继续进行战斗；50%的损害为毁灭性打击。因此，连日本人自己也承认此战日军遭到惨败。
1939年12月，新内阁制定了《对外政策方针纲要》。纲要提出：要停止北进，准备南进。对苏联，确保日苏“平静无事”；对中国，实行“以华制华”“以战养战”政策，加强殖民统治，为南进准备战略物资。
1940年5月，荷兰和比利时向德国投降。6月，法国维希政府也投降德国。希特勒的部队摆出要渡海攻占英国本土的架势。在这种形势下，日本以陆军为首的“主战派”一改主张“北进”的态度，转而对“南进”产生了浓厚的兴趣。他们梦想趁英法荷忙于欧洲战事之时，夺取它们在东南亚的势力范围。在日本看来，法国战败了，英国在为自己的生存战斗，印度支那的橡胶、锡、钨、煤和石油，是丢在街上只等人去拾的宝物。
陆军将领们有些迫不及待了。从6月下旬，他们就开始制定《伴随世界形势变化处理时局纲要》。7月4日，陆军将领与海军将领进行协商，在大的原则上取得了一致的看法。这一原则就是“抓往良机，尽快解决南方问题。必要时使用武力，同时尽力要把战争对象限制在英国一个国家，避免同美国交战，但要做好与美国交战的充分准备”。
但是，在对外关系方面，陆军部与米内首相发生了冲突。陆军部强烈主张和德国、意大利缔结同盟，利用德国的势力来求得“支那事变”的解决。对此，米内首相坚决反对。因此，陆军将领们不得不下决心使米内首相下台。7月16日，陆军将领们首先迫使陆相辞职，并决定不向内阁推荐继任人。米内首相得不到后任陆相的推荐人选，只好全体辞职。于是，天皇不得不按照陆军将领的意图，再次起用原首相近卫组阁。
内阁中两个要缺由两位锋芒毕露的人物充任，一位是能言善辩的外交家松冈洋右，另一位是东条英机。松冈洋右足智多谋，有“智力体操运动员”之称。东条英机心狠手毒，素有“剃刀将军”之称。因他在中国东北和华北的侵略战争中“功勋卓著”，深得天皇和陆军的赏识。
近卫重新上台后，立即召开内阁会议，专门研究战时经济体制、缔结日德意三国同盟和缔结《日苏互不侵犯条约》等政策问题。经过多次的磋商，最终形成文件《基本国策纲要》以及政府和大本营联席会议决定的《根据世界形势变化的处理时局纲要》。这样，日本就开始踏上南进的道路。
8月1日，松冈外相向德国驻日大使奥托试探了关于三国同盟交涉的问题。下旬，德国政府便派特使斯塔玛前往日本，就与日结盟问题进行谈判。
9月9日，松冈与斯塔玛举行会谈。会谈的内容是：日本对德、意在欧洲，德、意对日本在东亚“建设新秩序”中的领导地位予以承认和尊重；日、德、意三国中的任一国家受到“尚未参加正在进行着的欧洲战争或日中纠纷的一国的攻击时，三国应以政治、经济以及军事的所有方法进行互相援助”。
对协议内容，海军将领们表示反对。因为这一条约会使美国参加对德、意两国的战争时，日本必然会卷入对美的战争之中；而与美国作战需要强大的海军力量，在这方面日本与美国海军相比颇为逊色。
9月19日，政府、陆海军高级将领、枢密院议长专门请求天皇参加“就缔结三国同盟条约问题”的讨论。经过争论，最终天皇批准了政府的条约方案。条约在9月22日于柏林签署。同一天，天皇发布了欢庆缔结三国同盟条约的诏书。
可是，德、意与日本签署条约的意图是不尽相同的。德、意是想利用日本来牵制美国，不使其站在盟国方面进行战争；而日本则想利用德、意来牵制美国，使之不至于因反对日本征服中国和夺取英、法、荷在东亚的殖民统治地位而引起日美战争。此外，日本在缔结这一条约时，还企图促请德国在已同苏联缔结《苏德互不侵犯条约》之后从中斡旋，以便保证日本南进过程中无后顾之忧。这些条件，德国政府均表示同意。此时希特勒已经制定了进攻苏联的“巴巴罗萨计划”。
日本政府在与德国进行缔结日德意三国同盟的交涉的同时，为了实现《处理时局纲要》的部分计划，即“要使法属印度支那当局负责供应日本军队的军需，使它同意日本军队通过法属印度支那时使用飞机场等，并为取得必要的资源而尽力，根据情况也可使用武力”，已经同法国维希政府进行了交涉。8月30日，法国政府被迫与日本政府缔结了有关日本军队进驻“与中国接壤的印度支那”的原则协定。
法属印度支那在进行了象征性的抵抗之后，便不得不默认了日军的要求。接着，日军用同样的方式，于9月22日要求进驻北部法属印度支那。9月23日，法属印度支那当局屈服于日本政府的压力，与日本政府签署了具体协定。同一天，日军便“和平地”进驻北部法属印度支那。
对于日军的南进行动，美国国务卿赫尔于9月23日发表声明，不承认日本政府强行改变法属印度支那现状。26日，赫尔再次发表声明说：美国政府决定从10月16日起，禁止对日出口碎铁。10月5日，美国海军部长诺克斯发表态度强硬的声明，表示准备应付三国同盟的挑衅。日德意三国建立同盟，就德国或日本来说，不仅没达到牵制美国的目的，反而将美国推向反三国同盟的一边，加强了美国对英国的援助和对日本打击的决心。
受到美国的鼓舞，英国政府也在10月8日向日本发出通告：由于日本政府同法西斯德国、意大利缔结了军事同盟和出兵法属印度支那，原定10月17日期满的关于停止通过缅甸公路向中国政府输送援助物资的日英协定，将予以终止。这样，英国政府对日本也不再让步了。
为了消除南进的后顾之忧，避免两线作战，松冈外相于3月12日开始了他的欧洲之行。松冈在去柏林的途中，专门在莫斯科停留了几天，以便试探一下苏联对日本签订三国同盟的反应。
当天，松冈一行被邀请到斯大林的办公室。斯大林不时地站起来，吸着烟斗，在办公室里走来走去，毫不拘束地听松冈的讲话。松冈说，日本对俄国没有敌意。世界上主要的罪恶是英国人和他们的殖民政策。就是在中国，日本也不是同中国人作战，而是同英国殖民者作斗争。因为它支持中国的资产阶级和资本主义制度。他还说，日本与俄国有着共同的利益，因为日本是一个精神上的共产主义国家，是正在同资本主义国家进行斗争的无产阶级国家。接着，他又以惋惜的口气指出，日俄之间以前的摩擦，就是没有好好谈的缘故。
一提起过去的谈判，斯大林就打断了这个话题，“我们不必旧事重提，”他吸着烟斗说：“对于签订《日苏互不侵犯条约》，您有何看法？”松冈说，他立即向东京报告，然后及时答复。后来，当松冈在柏林同希特勒和里宾特洛甫谈判时，接到了东京的指示：政府授权外相同苏俄签署《日苏互不侵犯条约》。
4月13日，松冈在回国途中路过莫斯科，与苏联外长莫洛托夫分别代表两国政府正式签署了《日苏互不侵犯条约》。该条约规定：日苏两国维护友好关系，互不侵犯领土；当缔约国一方遭到第三国军事攻击时，另一方保持中立。条约的签署，既消除了日本南进的后顾之忧，也使苏联避免了东西两线作战的危险。
殊不知，当时苏联最关心的一件大事，就是担忧日本同德国相呼应，从背后进攻苏联。苏联把“当代最伟大的间谍”佐尔格派往日本，可以说，其最大的目的也在于此。早在松冈动身前，佐尔格就与克里姆林宫进行过联系：“日本有同苏联缔结中立条约的意向，希望做好准备。”克里姆林宫对这份电报欣喜若狂。正当松冈外相犹如凯旋的将军乘专车匆匆回国时，克里姆林宫给佐尔格拍去一份谢电，称：“对你所作的巨大努力，深表感谢！”