约翰逊在南方叛乱州被冠以“叛徒”骂名，而备受各方指责，但在北方，他却被人们视为英雄，并受到敬仰。
这个时候还不是大选的时候，所以和民众的敬仰相比，林肯对他的信任则显得更为重要。1862年，林肯总统任命约翰逊为田纳西州军政府首长。
这个职位拥有非常大的权力，约翰逊可以借此行使州内的行政、立法和司法大权，以消除邦联对田纳西州的影响。
权力虽然很大，但在战乱年月，代表联邦势力的约翰逊在田纳西州并不受欢迎。在参加林肯总统就职典礼后回田纳西州的路上，当他乘坐的火车驶进弗吉尼亚的一个车站时，一伙暴徒持枪冲进军厢。
其中一位暴徒嚷道：“你就是安德鲁·约翰逊吧？”
“正是本人。”约翰逊回答。
“那么我就要拧掉你的鼻子！”那家伙说着就准备动手。
约翰逊也不示弱，他拔出手枪，最后终于把那伙暴徒逼出车厢。
这件事让约翰逊明白，要想在邦联的势力范围内，让田纳西摆脱邦联的影响，就必须要用霹雳手段。为此，约翰逊果断地解除了那些不愿意效忠联邦政府的官员，关闭了反对联邦的报纸，甚至还逮捕了那些为邦联说话的牧师。
州内的反对势力还好对付一些，那些来自南方军队的进攻，则让约翰逊更为头疼。在南方邦联军队的连续进攻下，首府纳什维尔好几次差点被攻陷。
约翰逊是个强悍的人，面对具有优势兵力的南方军队，约翰逊对自己的队伍宣誓：“我虽然不是军人，但任何人要敢说投降，我一定会枪毙他。”
靠着约翰逊的顽强坚持，南北战争期间，田纳西州没有完全被南军攻克。随着内战接近尾声，约翰逊在田纳西很快恢复了自己的联邦政府。
约翰逊的政治观念，以及他在田纳西州的优秀表现，让林肯总统非常满意。1864年大选时，林肯说服共和党人让民主党出身的杰克逊作为他的副总统。
林肯突然挑选约翰逊作副总统，自然让林肯的现任副总统汉尼巴尔·哈姆林非常愤怒。但哈姆林自身也有点问题，那就是皮肤黝黑。对于一个已经进入中年的男人来说，皮肤黑一点本来没有什么的，但在黑人奴隶制问题成为美国内战根源的特殊时期，哈姆林的黑皮肤变得有些麻烦了。
当时有很多人就因哈姆林的皮肤黑，而诬陷哈姆林具有部分黑人血统。这样一来，哈姆林的黝黑皮肤无疑成为了他的政治瑕疵。
因为这个原因，哈姆林被林肯抛弃，多少获得了一部分共和党人的理解。至于哈姆林本人的懊恼、沮丧，林肯就无法顾及了。
但即使共和党人同意抛弃皮肤黑的哈姆林，但也未必就表示他们愿意接受约翰逊啊，因为约翰逊是民主党人啊。
这个时候，林肯总统又对党内精英进行了劝说，核心的一条就是，任用约翰逊作为副总统，可以平衡亲联邦的南部民主党人的选票。最终，共和党人接受了让约翰逊成为副总统的事实。
战场上的胜利让林肯轻松地赢得了连任，约翰逊也随之成为了美国副总统。林肯当选总统后的就职典礼定于1865年3月4日举行，约翰逊因为病后身体尚未恢复，他生怕在宣誓时精神不振，便在参加典礼前喝了三杯白兰地酒。
不知道是因为酒喝多了，还是因为紧张，约翰逊发表就职演说时，竟然有些胡言乱语，他大谈特谈自己出身如何微贱等。这也成了美国历史上总统就职典礼中的一大笑话。
从约翰逊成为副总统的这个经历也可以看出，他成为副总统多少有些运气在里面，因为他主要不是靠选举，而是林肯的选择。
当然更幸运的还在后面，约翰逊做了一个多月的副总统之后，内战结束了，作为暗杀林肯阴谋的一部分，约翰逊也成了暗杀目标。
当时负责暗杀约翰逊的杀手乔治，跟随了约翰逊很长一段时间，但在最为关键的时刻，乔治放弃了，约翰逊也因此幸运地躲过了一劫。但林肯却没有能够躲过这一劫，当约翰逊躲过暗杀回家睡了一大觉的时候，林肯已经被暗杀了。
1865年4月15日，在约翰逊副总统的住所——柯武德公寓，由首席大法官萨蒙·蔡司主持，约翰逊正式宣誓就任美国第17任总统。