建安七年，曹操派人下书给孙权，要求孙权将儿子送去作为人质以表示臣服。面对曹操的恐吓，年轻的孙权一时难以决断，便召集多位大臣进行商议。此时张昭却表现得犹豫不决，实则是打算让孙权接受曹操的条件派遣人质前往许都。不过，张昭的这种观点与孙权的想法相去甚远，孙权并不打算送人质给曹操，不甘受曹操的控制。于是，孙权带着江东负责军事指挥的主要将领周瑜单独去见自己的母亲吴氏。在吴氏面前，周瑜历数目前孙权集团所面临的大好局势，指出凭借目前江东的军力和财力已经足以与曹操相抗衡，完全没有必要送人质而受曹操的摆布。
在权衡利弊之后，吴氏也否决了张昭等人的观点转而支持周瑜的主张。
从这个事例中可以看出，对抗实力强大的曹操集团，张昭完全没有信心，这也与孙权所主张的割据江东、静观天下之变的构思严重冲突。从此之后，尽管张昭仍然受到孙权的礼遇，但逐渐退出了东吴集团的决策层，其政治地位逐渐为周瑜、鲁肃等人所代替。
经过数年的励精图治，孙权在江东的统治地位得到了进一步的巩固。
这时候孙权下决心向盘踞荆州的割据势力刘表发动进攻，力图获得荆州地区的控制权。从建安八年（公元203年）开始，孙权向荆州地区发动了多次主动进攻并取得了一定的成效。在这个过程中，东吴集团还有一个重大的收获：一直困居荆州郁郁不得志的猛将甘宁来到江东投奔孙权。
甘宁的到来，立即引起了周瑜和吕蒙的高度重视。尽管甘宁在荆州并不得志，但他在荆州生活了十几年，又在黄祖手下任职多年，对荆州尤其是江夏的情况都非常了解。周瑜和吕蒙立即求见孙权，希望孙权能够对甘宁予以优待。孙权的格外关照让甘宁非常感动，不久之后，甘宁就找到孙权，向孙权提出了一套经过自己多年思考总结出来的未来东吴发展方略。甘宁认为：目前大汉已经日益衰败，曹操更是骄横跋扈，最终他必将篡汉自立。荆州地区地形多样，无论是陆路还是水路都十分便利，这是江东必须夺取之地。而刘表此人胸无远虑，其子均平庸无能，他们都不能保持荆州地区的安宁，荆州迟早会落入他人之手。甘宁建议孙权应该尽早作打算夺取荆州，否则荆州极有可能落入曹操之手。甘宁进一步指出，如果要夺取荆州，打败黄祖是当务之急。黄祖年老昏庸，其管辖的江夏地区经济情况糟糕，粮草匮乏，其手下的将领们也经常欺骗愚弄黄祖，经常以黄祖的名义索要财物，大多数士兵心中抱怨，无心作战，连军用物资都疏于保养维护，整个军队已经丧失了斗志和战斗力，如果果断发动进攻，黄祖所部将注定失败。甘宁进一步指出：如果打败了黄祖，将可以一鼓作气向西挺进并占领楚关，这样东吴集团的势力范围将进一步扩大，下一步就可以为夺取益州地区制定攻击计划了。
甘宁的这个建议，是继鲁肃于建安五年（公元200年）向孙权提出的“榻上对”之后又一个符合实际的发展方略。这个方略不仅与“榻上对”不谋而合，与诸葛亮向刘备提出的“隆中对”亦有异曲同工之妙，都是利用荆州作为跳板从而向益州发展，最后实现统一全国的理想。对甘宁而言，一方面通过自己在荆州十余年的观察和了解从而对刘表集团的处境和未来有一个清晰的认识，另一方面也将东吴集团意欲统一天下的宏图大志看得清清楚楚，这使他能够为东吴集团的未来发展提供一个清晰而客观的建议，孙权对于甘宁的建议也深表赞同。
不过，张昭在确定东吴集团发展策略的问题上却再次与孙权产生了较大的分歧。对于甘宁的建议，张昭立即提出了自己的反对意见。张昭认为：东吴目前形势并不稳定，如果大军主力出击荆州势必导致内政空虚引发混乱。心直口快的甘宁反唇相讥指责张昭：孙将军已经将汉初萧何那样的重任交给了你，而你坐镇都城却担心会出乱子，那你凭什么来与萧何这样的古人看齐呢？
甘宁这种不留情面的讽刺显然让饱读诗书、在东吴享有崇高地位的张昭心中十分不悦，但是还没等张昭发作，在一旁的孙权却主动端着酒杯表态了。他表示完全赞同甘宁的建议并立即着手准备实施，同时希望甘宁不要受张昭意见的影响，继续为打败黄祖献计献策。
后来事态的发展也证明了张昭是过于保守了。经过数年的战争，以孙权为首的东吴集团终于在建安十三年（公元208年）取得了江夏之战的胜利，不仅斩杀了孙权的杀父仇人黄祖，同时还占领了荆州所属江夏郡东部的部分地区，进一步扩大了东吴集团的势力范围，也为不久之后进行的赤壁之战锻炼了队伍。
同年七月，曹操发动了荆州战役，短短两个月时间就将荆州占领，荆州牧刘表病死，其子刘琮率众投降，寄寓荆州的刘备集团仓皇逃窜，曹操意气风发，态度傲慢地写信给孙权进行恐吓。面对曹操集团强大的压力，是战是降在东吴集团内部引发了极大的争议。以张昭为首的一些江东文武认为凭借东吴的实力无法与曹操匹敌，万一爆发战争必败无疑，张昭公开表示：“曹操原本就是豺狼虎豹，如今又挟天子以令诸侯，动不动就以朝廷的名义发号施令，握有政治上的巨大优势，如果我们与曹操为敌就更加显得名不正言不顺，更何况我们原本与曹操可以抗衡的只有长江天险，如今曹操已经占领荆州全境，刘表所训练出来的水军，包括数千艘战船都被曹操接管，曹操只要让这些战船顺江而下，再与步兵齐头并进，就可以打破我们的长江防线，如此一来我们根本就无法与曹操抗衡。因此，我们的意见最好是迎奉曹操，投降朝廷。”
张昭的这种投降言论让已经下定决心抗曹的孙权非常不快，孙权碍于情面没有当场发作。但是在与鲁肃单独交谈的时候却愤怒地表示：张昭等人的言论让自己感到非常失望。不久之后，周瑜公开发表了自己对于形势的观点，深受孙权的赞赏。周瑜表示：
曹操名义上是朝廷的丞相，实际上却是大汉的贼子。将军以神武雄才，又兼有父兄的基业，现在割据江东，占地数千里，兵精粮足，自当纵横天下，为朝廷清除乱臣贼子。如今曹操自己送上门来找死，我们岂有投降的道理？如今曹操虽然占领了北方地区，但是局面并不稳定。马超、韩遂等凉州军阀目前屯兵函谷关一线，是曹操的巨大隐患。同时，曹操不得不放弃了他最为擅长的骑兵而仅仅依靠其并不熟悉的水军，要与我们这些熟悉水战的江东将士作战，就不能发挥他们的长处；更何况目前时值寒冬，不但战马缺乏草料，久居中原的曹军士兵也会因为水土不服而染上疾病，这些都是用兵的大忌。在这种不利的局面下，曹操依然强行出兵，这就给了将军一个天赐的良机，现在正是击败曹操这个奸贼的大好时机。请将军给我三万大军进驻夏口，我保证可以大获全胜，击败曹操这个强敌！
周瑜的豪言壮语让早已对张昭等人的投降言论憋了一肚子火的孙权有了一个宣泄的机会，孙权非常赞同周瑜和鲁肃的想法，同时指责张昭、秦松等人只顾着保全自己的妻儿老小，罔顾江东利益，让自己大失所望。
紧接着在之后召开的会议中，孙权拔出了自己的佩刀砍向面前的奏案说道：“再有言投降者，下场就与此案相同！”孙权所指的“投降者”，不言而喻就是指张昭。多年之后孙权回忆此事，还深有感触地对陆逊说：
“当初曹操凭借夺取荆州的巨大优势扬言要率领数十万众进攻江东，我当时请众文武商议对策，没想到居然没人敢表态。后来张昭、秦松等人都说应该派遣使者手持文书去投降曹操。鲁肃当即反驳，劝我尽快找回周瑜，让他率军抗曹，现在回想起来仍然记忆犹新。”可见当时张昭的投降言论对于孙权是多么大的刺激。
赤壁之战最终以孙刘联军的完胜而结束，曹操势力被赶出了荆州大部地区，战后无论是孙权还是刘备的实力都大有提高。而被孙权誉为“张公”的江东元老张昭却彻底失势，再也无法回到江东的决策圈了。
张昭为什么反对与曹操发生冲突而主张投降呢？原因还是出在张昭的战略眼光上。张昭在分析了曹、孙之间的力量对比后，错误地认为一旦双方发生大规模的冲突，东吴必败无疑。从这里也可以看出，张昭不具备周瑜、鲁肃那样的军事战略眼光，应付一些草寇、反叛者之流还凑合，但是缺乏应付这种动辄用兵几十万、上百万的大战役所必须具有的分析能力和判断能力，所以才导致出现这样的致命失误。同时张昭也因为这些错误的分析和判断，逐渐在东吴的政坛上失去了以前“谋主”的地位，取而代之的是周瑜、鲁肃等人。虽然在此之后张昭失势，但他依然是东吴政权中举足轻重的人物。尤其是在东吴的士人眼中，张昭仍然是他们心目中的一面旗帜。孙权也没有怎么亏待他，一如既往地对张昭保持着极大的尊重。
赤壁之战结束后不久，孙刘双方的战略同盟得到了进一步的巩固，刘备上表举荐孙权为车骑将军，领徐州牧，孙权则任命张昭担任军师，算是对这位忠心耿耿的托孤之臣的一种奖赏。而张昭也一如既往地对孙权的一些不当行为进行批评。在此期间还发生过一个故事：
孙权非常喜欢外出骑马射猎，有一次在打猎的过程中一只老虎突然猛扑上来抓住了孙权坐骑的马鞍。等孙权脱险之后，张昭脸色阴沉地教训了孙权。张昭说：“将军你何必要这样做呢？为人君者，要善于驾驭英雄统率豪杰，怎能在原野上奔驰追逐，与猛兽比试较量？万一有个好歹岂不是让天下人取笑？”看到张昭严肃的表情，听到他严厉的话语，孙权这位江东霸主不禁有些紧张，立即表达了自己的歉意，说自己年轻无知，考虑不周，愧对张昭的厚望。正如孙权曾经说过的，每次和张昭交谈，自己总是不敢乱说话，心里还是有点怵张昭。
孙刘联军在赤壁之战的胜利，彻底粉碎了曹操力图尽快统一全国的梦想，同时也保障了孙刘两家的生存和进一步发展。刘备集团趁机做大，不仅夺得了荆州数郡，之后又占据了益州地区，其实力日益壮大，而东吴集团却在淮南一线的争夺中与曹操陷入胶着状态，在吕蒙的倡导下，东吴集团的发展战略由东取曹操占领的淮南转向了关羽占据的荆州地区。建安二十四年（公元219年），孙权与曹操联手击败关羽，夺取了荆州，这也导致了孙刘联盟的彻底瓦解。为了夺回荆州，刘备集结兵力，于黄初二年（公元221年）开始对东吴展开进攻。这时候孙权果断地采取了联魏抗蜀的策略，主动向曹魏称臣，力图与曹魏形成短暂的联盟，避免两线作战的困境，以全力应付来自刘备的大举进攻。