隆美尔向班加西进攻。在11月份的最后几天里，英军渐渐地恢复了过来，从此双方又继续厮杀起来，并且都付出了惨重的代价。德军死伤、失踪近4000人，损失坦克142辆；英军损失了814辆坦克和装甲车，127架飞机，9000人被俘。
尽管英军损失重大，但奥金莱克正确地估计到了隆美尔部队的弱点，地中海已被英国舰队控制，至少在近期内，德军无法得到新的补给和增援部队。而英国却有新的部队和后备坦克可以调来作战。因此他决定继续打下去，把边境的第4印度师调往前线，与英国第7装甲师会合，以切断隆美尔的补给线和退路。
隆美尔从无线电和空军侦察中得到一支强大的英军正从南面逼近，决定向西撤退。
4日，他悄悄地削减并撤除了图卜鲁克包围圈以东的装备，拖拉机拖着大炮向西进发。
5日夜晚，担任掩护任务的第90轻装甲师也悄悄退出了阵地。
隆美尔开始向加扎拉退去。他告诉柏林，他计划直接跨过昔兰尼加暂时撤退。
起初，他的将军们和意大利人一样感到迷惑不解。当他将准备撤退的命令于12月4日送到非洲军那里时，克鲁威尔愤怒地回答说，他已经使敌人遭到了重大的损失，“完全没有必要在这时撤退。”甘巴拉也大发雷霆。巴斯蒂柯更是怒不可遏，只因为隆美尔不曾事先与他商量。意大利最高统帅部总司令卡瓦利诺认为隆美尔的行动未免操之过急，忽视了日本参战的重大意义，已经有迹象表明英军正把战斗部队从北非转移到远东。
当卡瓦利诺16日飞往利比亚时，意大利的指挥官们向他倾诉了一肚子的委屈。
甘巴拉呜咽着说：“你要知道，隆美尔真是随心所欲地让我们受了多少罪啊！
巴斯蒂柯插嘴道：“他让我足足等了他15分钟？”
卡瓦利诺简短地厉声说：“我们都处在同样的逆境中，你们只好默默地忍受。”
随后，卡瓦利诺亲自拜访了隆美尔，他告诉隆美尔的第一句话是，昔兰尼加的丢失对意大利无疑将是一颗政治炸弹。
隆美尔回敬道：“整个的黎波里塔尼亚的丢失将是一颗更大的炸弹。”
那天晚些时候，卡瓦利诺又一次拜访了隆美尔，要求他将撤退命令收回。
但是隆美尔没有答应。
这一仗对隆美尔来说是十分痛苦的，这是他一生中的第一次撤退。为此，他付出了惨重的代价，第21装甲师师长纽曼·西尔科被燃烧弹烧成面目全非，痛苦地永远闭上了双眼。第90轻装甲师的指挥官苏梅曼也在一次英国空军的进攻中阵亡。瘟疫已在沙漠上肆疟，包括克鲁威尔在内的许多官兵都染上了黄疸。现在，他只仅剩下驻扎在沿萨卢姆前线以及巴迪亚的14万名士兵了。
从阿莱曼向后撤退的德军。非洲军团不撤，就有全军覆没的危险。
12月8日午夜，撤退正式开始。
11日，隆美尔退到了加扎拉。
德军的撤退十分艰难，卡车和坦克常常陷入泥沼，要用绞车一辆一辆地拖出来。白天，英军的飞机不断地向他们发起进攻。
12月16日，德军又从卜雷加港开始撤退，德国非洲军团和意大利机械化军取道沙漠，意大利步兵师则沿着海滨公路退却。
英军迟迟没有发动追击，第4装甲旅直到第2天下午1时才出发，两小时后，在离哈莱格埃莱巴不到12英里的地方，就停下宿营，同时也为继续前进作后勤准备。18日，他们沿着沙漠道路前进，到梅基利南面的一个地方，但在转向北进时，刚刚错过捉住敌军后撤部队的队尾。
与此同时，第4印度师乘汽车前进，一路逼近海边。19日清晨，占领了德尔纳，但意军的步兵师大部分早已安全通过了咽喉地带。第四印度师企图再往西追击，终因地形复杂和汽油缺乏而放弃了。
28日，第22装甲旅、警卫旅在追击中，不仅没有取得胜利，反而在阿杰达比亚被隆美尔一个反击，损失惨重，第22装甲旅这支英勇善战的英军劲旅损失了60多辆坦克。
1月份，隆美尔的非洲军团全部都已脱离“危险区”，撤退到了靠近布雷加港一线上。与此同时，德军的一支6艘舰艇的护航队，偷越过英军的海空军封锁网，给隆美尔运到了一批坦克，潜水艇也送来了10万颗地雷。
这一切对疲惫不堪的非洲军团无疑是打了一针兴奋剂，隆美尔命令部队就地设置防线，同时要求部队立即投入整训，等待时机发起进攻。他自己每天乘坐斯托奇侦察机在前线上空飞来飞去，了解情况。
隆美尔站在布雷加港的海岸上，眺望着广阔的昔兰尼加半岛。
在这里。他牺牲了那么多的将士；在这里，他开始了一生中的第一次退却。
“昔兰尼加，用不了几天，你仍将回到我手中，还有埃及、尼罗河。英国佬，走着瞧吧，看看到底是谁赢得了？”
而此时，英军的后勤补给线延伸了1000多英里，英军的给养正面临着困难。由于太平洋战争的爆发，英军的不少飞机已调往亚洲，无力再进一步向隆美尔发起进攻。
双方在北非出现了对峙的局面。