1936年10月，德国-意大利轴心形成。纳粹分子不断发出敌视苏联的叫嚣。在东方，日本不断在苏联东部边界上挑起事端，这使斯大林的压力越来越大。1938年3月，希特勒占领了奥地利。接着发生了苏台德日耳曼人危机。德国的好战吓坏了英国首相张伯伦和法国总统达拉第，他们急忙同希特勒磋商，两国同意向捷克斯洛伐克施压，让捷克斯洛伐克把苏台德地区割让给德国。
斯大林立即建议，由英、法、苏三国建立一个反德联合阵线，在德国进攻捷克时三国共同出兵制止德国的扩张。但英法两国都不想得罪希特勒，希望用让步政策来换取西方的和平，牺牲捷克斯洛伐克，把战争的祸水引向苏联。他们不接受斯大林的建议，在臭名昭著的慕尼黑会议上，逼捷克斯洛伐克把苏台德地区拱手让给了希特勒。斯大林毫不怀疑，英法同意肢解捷克斯洛伐克的动机，显然是怂恿希特勒在东方放手大干，以换取西方的和平。
英法两国的短视和自私自利，使斯大林失去了对他们的信心，为了苏联免遭战争，斯大林转而采用实用主义的政策，同希特勒媾和，时间越长越好。因为他的国家现在还没有准备好战争。为了保证社会主义的苏联在世界上的存在，1939年8月，苏联和德国签订了互不侵犯条约。
1939年9月1日，希特勒侵入波兰。两天后，英法两国向德国宣战，战争已成为现实。斯大林加速了苏联的备战。征兵年龄从21岁降到19岁，苏联军队的人数增加到420万以上。
按照与德国达成的协议，苏军进入了波兰东部，把波兰与苏联接壤的乌克兰人和白俄罗斯人居住区占领，并归入苏联版图。10月，斯大林指示莫洛托夫向立陶宛、拉脱维亚和爱沙尼亚提出签订互助条约的建议。条约签订后，红军进入这些国家，2月后，把这三个国家也纳入了苏联的版图，保证了苏联波罗的海通道的安全。在西北部，列宁格勒离芬兰边境只有32公里，在炮火的射程之内，苏联曾向芬兰提出以交换土地的方式让芬兰向北迁移30公里，但遭到芬兰的拒绝。11月，苏军进攻芬兰，受到芬兰的顽强抵抗，苏军伤亡惨重。斯大林很恼火，命令增兵大举进攻，芬兰屈服了，同意将边境向北移动130公里。
1940年，德国的机械化闪电部队很快占领了挪威、丹麦。荷兰、比利时。英国军队从敦刻尔克撤退。法国的马奇诺防线也不堪一击，德国人占领了巴黎。这实际上意味着希特勒可以腾出手来攻打东方了。
斯大林加紧战争准备，各种新式武器装备研制并生产出来，迅速地准备到军队中，加紧培训军官。由于大清洗，军队的高级指挥官奇缺，从被清洗的军官中又召回四千人，他自己每天工作16小时，研究战略战术，组织教官等问题。让总参谋部制订国家防御计划和武装部队部署计划。总参谋部的华西列夫斯基先后两次制订出防御计划，他把红军主力部署在西线，计划呈报给斯大林。斯大林不同意这个计划，令其重新制订。第三次，总参谋部把主力部署在西南面，斯大林同意了。事后证明，华西列夫斯基的前两个方案是正确的，因为斯大林的失误，使战争初期苏军为此付出了惨重的代价。
希特勒已经准备好进攻苏联，各种消息源源不断地送到斯大林那里。斯大林不相信，也不愿意承认战争马上就会爆发，他希望再拖上几个月，部队没有进入战争状态。但是，1941年6月21日夜间，朱可夫从基辅打来的电话里获悉。一名德军司务长越过了边防线对苏军指挥员说，德国军队将在次日凌晨发动进攻。朱可夫立即给斯大林和铁木辛哥打电话。斯大林把他们召到克里姆林宫。斯大林听了朱可夫报告后的第一个反应是：“也许是德国将领把这个逃兵送过来，是为了挑起冲突。”“不，我们认为这逃兵说的是真话。”他们回答说。
政治局委员都来了，斯大林询问他们的意见，但是没有回答。沉默一阵后，铁木辛哥说话了：“应该立即命令边境军区所有部队进入一级战备。”朱可夫把在总参谋部队订的命令读了一遍。命令强调必须根据打退敌人进攻的作战计划采取坚决行动，但斯大林仍没有放弃他的希望，以为这也许是一场虚惊。他说：“现在下达这样的命令还太早，也许还可以和平解决。”斯大林让人重新起草命令，发往列宁格勒、波罗的海、西部、基辅和敖德萨各军区的前线部队，要他们立即做好准备，准备抗击德国可能发动的突然袭击。
1941年6月22日0时30分这项命令下达完毕。但许多集团军尚未接到命令时，德军已发动了全线进攻。
德国以162个师，30万人，3400辆坦克，7000门火炮。分三路进军：北路指向列宁格勒、中路指向莫斯科、南路指向乌克兰，向苏联发动进攻。苏联就是在这种背景下仓皇应战的。
德国的大规模突然进攻，出乎斯大林的意料之外。由于他判断和部署的失误，使苏联遭受极大损失。
通信联络中断，莫斯科几乎失去了同各军区之间的联络。斯大林和他的统帅部并不知道，在战争第一天，苏军共损失了1200多架飞机，大部分飞机是被德军炸毁在机场上的。德军掌握了制空权并从宽约1500公里的广大地区向苏联发起正面进攻。德国的坦克部队和摩托化步兵师潮水般冲向苏联各边防要塞和城市。苏军在边境地区的军用仓库、武器弹药及其他军需物资，几乎全部落入德军手中，苏军官兵虽然奋力反击，但无法阻挡德军的快速推进。在战争的头几天，苏联西部边境各条战线都是乱糟糟的，有时简直是一片混乱。统帅部不断发出新的指示和命令，但这些指示和命令又都落后于急速变化的形势。在战争的头五六天里德军就深入了苏联国土150～200公里。
斯大林心情沮丧，甚至有些慌乱，但他很快从消沉的情绪中摆脱出来，振作起来，重新负起他身上的重任。为了摸清前线情况，他命令大本营的朱可夫大将到西南方面军、沙波升尼科和库利克元帅到西方方面军。
6月28日，德军在明斯克完成合围，苏军43个师又3个旅被围歼于明斯克，傍晚，白俄罗斯首府明斯克失守。斯大林沉痛地说：“列宁亲手缔造了我们的国家，而我们大家却把它误了！”
为了战争的需要，斯大林亲自兼任了国防人民委员，稍后，又亲自担任苏联武装部队最高统帅。斯大林集党、政、军大权一身，这在战争时期是必要的。斯大林命令将工业向东转移，根据这个命令，1500多个企业其中包括1300多个庞大军工厂，向后方疏散。这些工厂很快就完成迁移，并又很快地恢复生产，这为以后的战争胜利打下了深厚的物质基础。
德军攻破了列宁格勒以东20公里的筑垒区。9月8日，攻占了拉多加湖畔的计利湖利堡。列宁格勒被德军包围，列宁格勒居民开始了近500天的保卫战。
在西南方向，德军的南方集团军群从利沃夫出发，直逼乌克兰首都基辅。朱可夫紧急求见斯大林，向斯大林汇报总参谋部的作战方案，建议加强中央方面军，建议把西南方面军撤到第聂伯河以东。斯大林问道：“基辅怎么办？”朱可夫坚持己见：“基辅不得不放弃。”斯大林发火了，他高声说道：“把基辅交给敌人，亏你想得出来。”朱可夫委屈地回答说：如果你认为我这个参谋长只会胡说八道，那么还要我干什么。我请求解除我的总参谋长职务，把我派到前线去，我在那里可能对祖国更有好处一些。”
“请你冷静些，”斯大林说：“再说……如果你这样提出问题，那么我们缺了你也能行……你去工作吧，我们一会儿叫你来。”大约半小时后，朱可夫被召去。斯大林说：“我们商量了一下，决定解除你的总参谋长职务，由沙波什尼科夫接任。他的身体确实不太好，但没有关系，我们可以帮助他。”
斯大林接着问朱可夫，愿意上哪，并同意由他来指挥他所提议的对叶尔尼亚突击部的反突击。
朱可夫要求离去时，斯大林微笑地请他一起坐下喝茶。他珍惜朱可夫的帅才，尽可能消除他的情绪，斯大林提醒他，他仍然是副国防人民委员和最高统帅部的成员。
在整个二战期间，朱可夫是斯大林最得力的助手之一。他被频繁地调来调去，他指挥了莫斯科保卫战，列宁格勒反击战……他为祖国立下了大功。二战中，他成了最声名卓著的苏联元帅。
朱可夫的计划是正确的，但斯大林没有采纳他的建议。斯大林打电话给西南方面军司令员基尔波诺斯，要他不惜一切守住基辅。经过一个多月的苦战，基辅还是陷落了。基尔波诺斯战死沙场，苏军被围歼60～70万人。
战场上的胜利鼓舞了希特勒，他集中优势兵力准备在入冬前占领莫斯科。在莫斯科前沿的苏联西方方面军、预备队方面军、布良斯克方面军和加里宁方面军英勇奋战。到10月6日还是被围困在维亚泽马地区。经过几次突围均告失败。10月10日，60万苏军在维亚泽马覆没。13日，德军已挺进到离莫斯科不到100公里的地区，莫斯科面临现实的威胁。斯大林命令立即撤退主要的社会活动家和国务活动家。政府迁往古比雪夫，各大企业一律布雷，但他仍希望会有良好的结局，因为西伯利亚和远东的援军已经登车。
敌人的逼近和大规模的撤离一度在市民中引起恐慌，关于斯大林和政治局已经离开莫斯科的谣言也流传开来。10月17日，**********书记向全国广播说，斯大林本人就在莫斯科，他严厉地斥责了要放弃莫斯科的谣言。斯大林留在莫斯科的消息鼓舞了人民。“绝不放弃莫斯科”，“我们无路可退了”成了对每个苏联人的崇高的爱国主义的命令。秩序很快得到恢复，街头呈现出沉着坚定的气氛。首都准备战斗到底。
贝利亚曾向斯大林报告说，在莫斯科近郊某车站已为他准备好一辆专列，还有大本营的4架飞机也已经准备就绪，其中有1架是斯大林的专机“道格拉斯”。斯大林一言不发，他深知，只要军队、人民知道斯大林在莫斯科，就会给他们增添信心，他决心留在莫斯科直到最后一人。
1941年11月6日是十月革命纪念日，庆祝活动安排在地下铁道的马雅可夫斯基车站举行，斯大林在会上发表了讲话并立即广播发表。在首都岌岌可危的时候，斯大林的演讲具有不同寻常的意义。
斯大林说：在反法西斯战争中，苏联并不孤立。英国和美国已表示支持。……问题在于，现在欧洲大陆上没有任何一支同德国法西斯军队作战的英国或美国的军队。因此德国人不必分散自己的力量，不必在东西两个战场上作战。