毛泽东7月14日接到彭德怀给他的信，于7月16日将这封信加上《彭德怀同志的意见书》的标题和"印发各同志参考"的批语，发给参加政治局扩大会的同志。然后，毛泽东向政治局常委提出要"评论这封信的性质"。常委遂做出决定，用一周时间让人讲话。从16日开始重新划分小组，一面讨论、修订《关于形势和任务--一九五九年七月二日至×月×日庐山会议议定记录（修正草案）》，一面讨论彭德怀的信。与会的大多数同志，不理解毛泽东将彭德怀的信作为"意见书"批发给他们的真实意图，也不领会毛泽东所说的要"评论这封信的性质"的深刻含义，特别是7月17日又传达了刘少奇在会议前期于西南区小组会上关于"成绩讲够，缺点讲透"的讲话，更使多数人没有觉察出会议的方向将会有什么变化。从7月16日至22日，会议仍以前段"神仙会"形式继续进行，围绕彭德怀的信，大家交流情况，各抒己见，畅所欲言。多数同志认为彭德怀的意见基本上是符合实际的。少数一些对情况了解不深、不全，特别是护短的同志，不大赞成彭德怀的看法，且多从一些措词上加以指责。于是，多数人同小数人的意见分歧越来越大，争论亦越来越激烈，原先那种轻松活泼的"神仙会"气氛开始变得紧张起来。黄克诚、周小舟、张闻天的发言，则最后把毛泽东给激怒了。
黄克诚是中共中央书记处书记、中国人民解放军总参谋长，他原留在北京处理中央军委的日常事务，没有出席前期庐山会议。根据党中央的通知，他于7月17日上庐山参加会议。19日，黄克诚在小组会上发言支持彭德怀的意见书，认为彭德怀的信总的精神是好的。他在发言中说，公社制度是优越的，但"去年搞好还是不搞好？我想搞也好，不搞也可以。从长远说搞了好，从短期说，不搞更主动些。"同一天，周小舟也在小组会上发言，他"完全同意彭总的信，认为总的精神是好的，至于某些提法、分寸、词句，可以斟酌。"他指出："各人由于工作方面不同，接触事物不同，因而看法不同。大家一起讨论，从各方面把问题提出来，经过分析，就可以达到一致。"张闻天是在会议气氛已经变得十分紧张的情况下，于7月21日在华东小组会议上作长达3个小时的发言的。在张闻天发言前夕，中共中央书记处候补书记胡乔木"已经预感到将有一场风暴"来临，"劝他少讲一些"。但张闻天出于对党的事业的无限忠诚，不顾个人安危得失，仍把自己想讲的话都讲了。他的发言包括：大跃进的成绩、缺点，产生缺点的原因，主观主义和片面性，政治和经济、民主和集中，缺点讲透很有必要，关于彭德怀同志的意见书等13个方面。张闻天发言中表示支持彭德怀信的观点："这份意见书提出了一些问题，中心内容是希望总结经验，本意是很好的。"张闻天的长篇发言是坦率、客观和实事求是的。他的发言同彭德怀的信一样，反映了大多数与会者的心声，引起了强烈的反响。少数护短的同志和号称"左派"的人们，以非难彭德怀的信的同样语调指责张闻天。
形势急转直下毛泽东对彭德怀的信本来就深感不安，看到多数人持支持态度，特别是张闻天等人的发言，使他更为不快。7月23日上午，毛泽东在大会上作了针锋相对的讲话。说现在党内外夹攻我们，有党外的右派，也有党内那么一批人。我劝党内这一部分同志，讲话的方向问题要注意，在紧急关头不要动摇。有些同志在历史上大风大浪中就是不坚定的，站不稳，扭秧歌。现在又表现出资产阶级的动摇性、悲观性。他们不是右派，但是他们把自己抛到右派的边缘去了，不过还有30公里，相当危险。他对彭德怀信中所讲的"比例失调"，"小资产阶级的狂热性"和"有失有得"等，逐一做了批判。他说，所谓比例失调，无非是1个时期蔬菜太少，头发卡子太少，没有肥皂，市场紧张，以致搞得人心紧张。我看没有什么紧张。他指责"有失有得"，把"得"字放在后面，是经过斟酌的，是"张飞粗中有点细"。他对"小资产阶级狂热性"的说法更不以为然，认为反对"小资产阶级狂热性"，就是资产阶级的泄气性、悲观性、动摇性。他号召"左"派们要"硬着头皮顶住"，"腰杆子要硬起来"，因为"神州不会陆沉，天不会塌下来。"对1958年以来的错误，毛泽东颇带有情绪地承担了责任。他说，主要责任在我身上，我有两条罪状，一条是建议1070万吨钢，从此闯下大祸，其结果9000万人上阵，搞小、土、群，得不偿失。虽然大家都赞成，但始作俑者是我。另一条是人民公社。人民公社我无发明权，有建议之权，北戴河会议决议是我建议写的。人民公社全世界反对，苏联也反对。对于错误缺点，我们不晓得做了多少次检查了，从去年郑州会议以来大做特做，你们就没有听到？有些人是不会放弃他们的观点的。