1940年，朱可夫被派到基辅担任大军区司令员后，由国防人民委员铁木辛哥和总参谋长梅列茨科夫组织策划了一次军事演习。
演习的总题目是：以苏联遭到法西斯德国突然袭击为背景，组织“红”、“蓝”两军的防御和战役战略总学习。苏联为“红军”，德国“蓝军”。西部特别军区司令巴甫洛夫上将指挥“红军”，朱可夫大将指挥“蓝军”。双方各自准备，设想在苏联遭到德国突然进攻时，西部边界可以发生变化的情况，为未来的战争积累一些经验和宝贵资料。斯大林十分重视这次演习，要求各军区和各集团军司令员等所有重要政治、军事官员自始至终参加这次演习。他还多次召见演习的总导演铁木辛哥，详细询问了演习的准备情况。
在这次演习中，朱可夫率领的“蓝军”获胜，根据斯大林的建议，总讲评在克里姆宫里进行，总参谋长梅列茨科夫报告了演习的经过，当他谈到双方力量对比的数字和“蓝”军在演习开始阶段的，特别是坦克和空军的优势时，斯大林不禁打断他的话说：“参谋长同志，不要忘记，决定战争的胜负的因素除了数量上的优劣，还有指挥员和军队的作战艺术。”
演习讲评的第二天，斯大林召见了朱可夫。斯大林对朱可夫在这次演习的表现很满意，又加上他先前对朱可夫的印象良好，于是他以政治局的名义认命朱可夫接替梅列茨科夫，担任总参谋长的职务。
朱可夫上任后，苏联的国际形势已经岌岌可危，德国军队进攻苏联的战略意图非常明确。但是斯大林错误地估计了形势。他认为：德军对苏战争中首先是力图占领乌克兰和涅茨克河域，以夺取苏联最重要的经济地区，夺取乌克兰的粮食、顿涅茨克的煤，以及高加索的石油，因为这些重要的战略物资是德军进行长期、大规模战争的基础。由于他错误地判断了德军的进攻方向使苏联红军在战争初期遭受了惨重的损失。
斯大林忽略了德军赖以称霸欧洲的“闪电战”，而1941年6月，希特勒统帅部选定的主攻方向又恰恰在斯大林没有预料到的西部方向。希特勒在白俄罗斯方向集中便用了最强大的陆军和空军集团，企图在最短的时间内攻破莫斯科。
朱可夫通过详细的侦察得知，德国法西斯军队已经在苏联西部边集结了大量军队，形势十分危机，朱可夫决定调动部队，针锋相对。但是斯大林仍然犹豫不决，他怕触犯德国，影响两国关系，又怕给德国抓住把柄以发动战争，斯大林为了延缓战争发生，保持国内和平费尽了心思，但战争还是来了。
1941年6月20日深夜，基辅军区参谋长向朱可夫报告，从一个德军投诚司务长口中得知，德军已经进入出发阵地，德军将在6月22日凌晨全面发动进攻。
6月22日凌晨3时零7分，黑海舰队司令奥克恰面里海军上将报告，有大量来历不明的飞机正向苏联海岸接近。3时30分，西部军区报告，德军空袭白俄罗斯的城市。3分钟后，基辅军区报告，乌克兰的城市遭到空袭。3点40分，波罗的海沿岸军区报告，敌机空袭考那斯和其他城市。
战争终于爆发了。德国政府已正式向苏联宣战。直到此时还犹豫不决的斯大林在朱可夫和铁木辛哥的力劝下，才勉强下了命令任朱可夫担任西南方面军统帅部代表，立即动用各边境军区所有的兵力猛烈还击敌人的进攻，制止其继续前进。
朱可夫雷厉风行，在与斯大林谈话后40分钟就已经乘上飞机起飞了。他于22日黄昏时分，赶到了位于基辅市中心的乌克兰共产党中央委员会大楼。赫鲁晓夫正在等他。两位老朋友此时相见，倍感亲切。赫鲁晓夫关切地说：“不要再往前飞了，否则有危险。德军飞机总是追逐我们的运输机，应当坐车去。”朱可夫听从了赫鲁晓夫的安排。
随后，朱可夫乘车到塔诺波尔去，那里是西南方面军司令员基尔波斯上将的指挥所。深夜时分，朱可夫赶到目的地。下车他顾不上和高级军官们寒暄，立刻要通了瓦杜丁的电话。
瓦杜丁报告说：“到6月2日此刻，尽管采取了有力措施，总参谋部仍无法从各方面军和空军司令部获得我军和敌人的准确情报。”
朱可夫亲自赶到担任主攻任务的机械第8军（军长利亚贝舍夫）的指挥所。这位军长是朱可夫的老部下。利亚贝舍夫拿着地图向朱可夫报告了部署，安排干净利索，句句击中要害。
这时屋外传来一阵飞机俯冲的尖叫声和炸弹声。朱可夫看到利亚贝舍夫和在场的军官们都有条不紊地工作，就像在野外习时一样。朱可夫心中暖融融的，心想：“真是好样的，到底还是老部队过硬，有了这些人，我们是不会打输的！”
6月24日，按照统一部署，机械化第8军在别烈斯贴奇科方向转入进攻，机械化第15军在腊迭霍夫以东进攻。这两个军的出色战斗，使德军第1装甲集团的第48辆摩托化军陷入十分危急的境地。德军统帅部调动了全部空军到这一地域抗击苏军的反突击，才使第48摩托化军免遭全军覆没。
在朱可夫的指挥下，西南方面军胜利实施了最初的一系列反突击。德国陆军总参谋长在这一天的日记里写道：“敌人以大量坦克兵力在第1坦克集群的侧翼转入进攻。”
对这次战斗，朱可夫并不甚满意，他认为，如果他手中有更多的航空兵用来与机械化军同作战，可能会取得更好的效果。
朱可夫分析：莫科斯方面的德军，由于损失太大，短斯内不可能实施战略进攻；列宁格勒方面的德军，在得到兵源补充之前，也不可能夺取列宁格勒；乌克兰的德军正在与苏军对峙，朱可夫认为，苏联最薄弱的是中央方面军，德军很可能利用这个弱点向西南方向军的侧翼实施攻击。
当斯大林召见朱可夫时，朱可夫根据当前敌我形势的分析，建议首先加强中央方面军，至少还要增加3个集团军。西南方面军必须撤过第聂伯河，把兵力集中起来，避免被敌军包围。
放弃基辅，在西部方向马上组织兵力夺取叶利尼亚的突出部。
对于当时的原苏联人来说，基辅意味着生命，他们对这个地方倾注了太多的感情，自然朱可夫这个建议无异于在斯大林头上丢了个炸弹，不明形势所迫的斯大林生气指责朱可夫完全在乱弹琴。
1941年秋，朱可夫大将在列宁格勒前线。以后的事实证明朱可夫是完全正确的。基辅会战历时一个半月，最后以苏军惨败告终，65万苏军官兵被俘，大量物资装备落入了敌人手中。
8月中旬，朱可夫率部向叶利尼亚地区的德军发起进攻。战斗异常激烈，双方在所有地段同时展开激战，德军企图以密集的大炮和迫击炮火力阻止苏军进攻，朱可夫则成竹在胸，沉着应战，下令动用所有的飞机、坦克、大炮和新研制的“喀秋莎”火箭炮猛烈还击。
9月6日，苏军最终攻占了叶尼亚，歼敌近5个师，共5万余人，这是苏德战争开始以来苏军取得的第一次重大的胜利，苏军的士气空前高涨，坚定了战胜德军的信心。
朱可夫又被斯大林召回莫斯科，派往形势危急的列宁格勒。