1931年1月，施佩尔听了希特勒的演讲后，被希特勒深深吸引，遂加入纳粹党。1932年，施佩尔负责装修戈培尔的官邸，并设计了纳粹党第一次代表大会会场。他的才华吸引了希特勒，在建筑方面两人志同道合，施佩尔成为希特勒的好友。从此，施佩尔成为希特勒的首席建筑师。
施佩尔精心设计了柏林城市模型，包括世界上最大的火车站；长170米、高117米、纵深119米的凯旋门；15万人的圆顶大会堂；40万人的运动场；1.5万个床位的宾馆等一系列巨型建筑。他的设计深深地吸引了希特勒，希特勒经常带领幕僚们来参观，亲自向他们讲解。施佩尔的父亲看了模型以后，不禁叹道：“太疯狂了。”
1933年3月，施佩尔受宣传部长戈培尔的委派改建宣传部。施佩尔的建筑才华和组织能力令希特勒震惊。希特勒亲自委派施佩尔改建总理府。后来，施佩尔担任德国建筑总监。战时的施佩尔对德国来讲，在某种程度上比希姆莱、戈林、戈培尔和一些元帅们更加重要。
尽管施佩尔主张集中权力，但为了提高产量，他也同意赋予工厂管理方面的自治权。在制定战时经济计划上，新方法替代1942年以前“四年计划”的老方法。
施佩尔给企业界负责人以充分的信任，调动他们的积极性，使他们敢拿主意。在军备部，他为人正直，喜欢与不同意见者共事，总是宽恕和指导反对他的人。但他讨厌没有主见、百依百顺的人。
为了加强军备生产的计划性，施佩尔成立中央计划局，统筹武器和物资生产的各种计划、方案，成为德国战时经济中的核心机构。
施佩尔一开始就遭到戈林和国防军内一些部门的抵制，“四年计划”的总负责人是戈林。为了求同存异，争取戈林等人的支持和谅解，施佩尔声称在德国空军司令戈林的指导下工作。施佩尔的任命意味着“四年计划”的结束，但“四年计划”这个词在德国继续使用。
1942年，最高统率部的防御和军械部门并入德国武器和军事工业部。德国海军的这些部门也并入德国武器和军事工业部。1944年，德国空军所属的武器军械部门也并入德国武器和军事工业部。施佩尔掌管着除负责征集劳动力的部门以外的所有军械事务部门。
施佩尔的权力包括：生产计划的执行权；更改计划的决定权；设置新生产部门的权力。施佩尔巧妙地利用给予或者拒付的方法，对海军和空军的物资进行控制。
施佩尔鼓励私人企业的发展。他建立工业自我管理机构，并在各工业部门设置委托代理机构和联营机构，使德国的军械生产体系标准化。就是把战争初期军备生产的手工业方式转变为装配线型的工业化模式，使军备生产产量短短半年就增长了60%。
事实证明，施佩尔建立的新控制体系对德国经济的储备十分有利，同期消费品的产量仅降低少许。战争时期德国的工业产量每年都保持持续增长的势头。
施佩尔的巨大成功使他在德国的军政要员中备受瞩目。宣传部长戈培尔支持他，报纸、电台和纪录片大量报道军备生产，施佩尔成了德国最知名的人士之一。作为德国军备和生产部长，施佩尔是希特勒身边的常客，施佩尔与希特勒的情人爱娃·勃劳恩也是好友。
在战时经济中，惟一不受施佩尔管辖的部门是就业总委员会，由弗里茨·绍克尔管理。
1942年3月27日，希特勒颁布的一项命令规定，绍克尔对就业大军有监督权，此前，监督权由几个部门负责。不久，弗里茨·绍克尔又升任劳工部长。
绍克尔根据军械部的需求征集和分配劳动力，制定一系列政策。他得到了各地政府长官的支持。
4月6日，绍克尔颁布一项法令，任命许多地方长官为劳工部的代理人。绍克尔主要关心的是从国外征召劳动力，仅在1942年，兵工厂的人数就增加到130万。
德国劳工政策是利用强征国外劳动力的方法，弥补德国男性劳动力的不足。1944年德国工人的数量与1939年大体相同，但产量却提高近一倍。
1943年9月，盟国不断空袭德国，给军备和民用生产造成很大困难。施佩尔组织法国、比利时、荷兰等国企业生产民用商品，而德国同类工厂转为兵工厂。解决了因强征外国工人到德国工作引起工人逃跑而影响生产的弊病，同时使德国军备生产所受的影响降到最低。
军火工业相比1944年之前，化学工业产量又增加30%，内燃机燃油工业产量增加85%，电力工业产量增加26%。
德国普通人的消费水平在战争第五个年头才开始下降。1943年以前，由于对被占领的国家和附庸国的掠夺，德国人的生活水平仍然很高。
被占领国在向德国提供原材料方面起到重要的作用。1942年，德国使用的各种原材料中，大部分来自被占领国，一些原材料甚至百分之百来自占领国。
施佩尔全力主持新式坦克、喷气式飞机、原子武器、新式潜艇、火箭和飞弹的研究、试验和生产，想靠新型武器赢得战争。在长期的军备工作中，他与邓尼茨、古德里安、弗罗姆等大批将领建立了友谊。
自1941年夏季起，德国用火车把在苏联掠夺的物资运回德国，以保证工业产量。1943年，原材料富饶的地区大部分被苏军收复。
德国政府把战争费用强压在国民头上。1941年，德国人年收入一万德国马克的所得税为13.7%，同比之下，英国人在年收入类似的情况下所得税为23.7%。德国人年收入10万德国马克的所得税为55%；英国则为75%。
德国为二战投入6570亿德国马克，其中1847亿马克是征税所获得。德国政府有权自由处置所有的国民存款。纳粹政府给人们一种假象，避免因突然增税而引起恐慌。
1944年以前，德国共发行1600亿马克公债券，由国内税收偿付。政府的赤字用发行钞票来弥补。到1945年，德国公债达到3800亿马克。在二战快结束时，德国货币体系即将崩溃。
自1942年起，德国政府把军火的产量提高到令人吃惊的程度，在短期内把欧洲大部分地区的经济潜力调动起来。但德国与美苏两国相比，它仍显得弱小。1944年年初，德国的战争潜力已告枯竭，但盟国在美国得到的是几乎用之不竭的战争潜力。
1944年夏，美国空军连续轰炸德国的大批燃料厂和罗马尼亚的一些炼油厂，德国飞机燃料的产量减少一半。7月，98%的燃料生产被迫停止。施佩尔精心组织35万工人抢修工厂和炼油厂。11月，燃料的日产量恢复为原产量的28%。
7月20日，暗杀希特勒政变失败。政变的组织者在未来政府名单里，给施佩尔留下军备部长的职位。由于他与希特勒的特殊关系，政府审查未果就放了他。
这时，施佩尔不再盲目信仰希特勒了。他认为要拯救德国，必须要除掉过去的偶像希特勒。施佩尔曾秘密计划用毒气杀死希特勒，但后来希特勒下令修改了地下室的通风管道。只是偶然的原因，便使施佩尔的秘密计划失败了。
1945年初，德国工业生产基本停止。1月30日，施佩尔向希特勒提交备忘录，宣称在军备上的工作结束，应重点考虑粮食、电力等民用工业。他提出，盟国在人力和物力方面的巨大优势已不可能再用德国人的生命去弥补了。
1945年3月18日，德国败局已定，希特勒下达“焦土命令”，让德军和各地政府彻底破坏公路、桥梁、工厂等基础设施，不让它们落入盟军手中。希特勒想让德国变成一片废墟，任何东西都不留给盟军。
但施佩尔认为这样做只会增加德国人民的苦难，为了战后德国的经济恢复，为了尽量保住德国人民生存的基础，他说服各地政府把彻底摧毁工厂的命令改为临时瘫痪的命令。他还说服军方，尽量在工业区以外开辟战场。
施佩尔下达保护所有工厂和基础设施的命令，当德军将领和政府官员们同时接到希特勒和施佩尔完全相反的命令时，他们不知道该执行谁的命令。尽管施佩尔被撤职了，但他凭借自己的巨大威望，支持工人成立工人自卫队保护工厂。他派人给工人自卫队发放军火，告诉他们谁敢破坏工厂就干掉他们。
由于施佩尔的阻挠，希特勒的焦土政策失败了。为了维护德国的工业、交通和通讯等基础设施，施佩尔奔走了几个月，这正是在战后审判中，施佩尔没有被处死的原因。
1945年4月23日，施佩尔冒着苏军的炮火，乘小飞机冲进被包围的柏林。他劝说希特勒和他一起撤退。在去柏林救希特勒以前，朋友们都劝他别去，因为柏林已经快沦陷了，防空火力密集，飞机无法飞进去。
施佩尔仍然冒险飞到柏林，看到了总理府地下室的希特勒，向希特勒说明自己拒绝执行破坏国家命令的原因。
希特勒听了以后没有发脾气，施佩尔感到大吃一惊。希特勒不肯与他一起撤退。施佩尔难过地离开了柏林。希特勒没有以叛国罪枪毙施佩尔，在第三帝国的历史上留下了未解之谜。希特勒于1945年4月30日自杀后，施佩尔对着希特勒的照片大声痛哭。
1945年5月13日，施佩尔被英军逮捕。纽伦堡国际法庭审判中，施佩尔被判处20年监禁。
服刑期间，他在狱中写了《第三帝国内幕》一书，提供了大量第三帝国军政要员鲜为人知的内幕。为改变德国人民对希特勒的狂热崇拜，他在书中谴责了希特勒企图摧毁德国的“焦土抗战”政策，《第三帝国内幕》对认清纳粹德国和希特勒的反动本质具有珍贵的历史价值。