彭德怀"反复思索主席的讲话，再衡量自己的主观愿望与动机，怎么也想不通。当时抵触情绪很大。"是日黄昏，他心情沉重地在马路上独自散步，碰见一位参加会议的同志，他关心地询问彭德怀对上午毛泽东的讲话有什么考虑。彭德怀回答说："是非曲直由人断，事久自然明吧！"这位同志好心地劝彭德怀说："不能采取满不在乎的态度，主席午前讲话，从政治上、组织上、路线上，已经提到了高度原则，你应当考虑对党对人民如何有利的问题，写成书面发言（按：即检讨）。"彭德怀回答说："现在很疲劳，一时写不出来，也写不清楚。"当晚，彭德怀在笔记本上写道："我7月14日写给毛主席的信（即意见书），16日由中央办公厅印发到会同志，至22日，各小组经过六天的讨论，对信完全同意的，只有1个同志，基本上不同意的也只有1个同志。其余在发言中的大多数同志是基本上同意的。……至如（于）我写这封信，是在西北小组会议上，一些不便讲的问题，要点式的写给主席作参考的，希望主席考虑信中的一些问题，主席竟把问题提到如此十分严重，如此十分尖锐，提到离开现实情况的高度原则。因此，国内在经济建设中，出现的许多问题，不仅不能得到解决，在'左'倾急躁冒进的基础上，再加以猛烈的反对右倾机会主义，并把这提到两条路线斗争的高度。它将要造成难以估计的损失，引起更加严重的比例失调，甚至引起党内外一段时间内的混乱，影响（造成）生产和人民生活水平下降的后果！！"写完笔记，彭德怀辗转反侧，彻夜难眠，直至天晓还在想："我虽然认识主席时间比较晚，可是也有30余年了，我这信有如此严重的错误，为什么不可以找我谈一谈呢？我的信是给主席作参考的，为什么成了意见书呢？为什么能成为右倾机会主义的纲领呢？"彭德怀在百思不能自解之下，还这样考虑到："如果以毛泽东同志为首的中国共产党中央的威信受到了损失，那就会给国际无产阶级运动带来更大损失。"因此，他"动摇了原先保留看法的念头。"翌日上午，又有两位好心的同志前来找彭德怀交流。他们劝说彭德怀"要抛开信的本身，从全局利益来作检讨。"他们同彭德怀"谈了2个多小时，热泪盈眶而别。"彭德怀在感激之下，"决心从严检讨自己。"毛泽东7月23日的讲话和26日的《评论》发表之后，由于党内对1958年经济工作指导思想上的"左"倾错误认识不足，由于毛泽东在全党享有极高的威望，由于党内个人崇拜现象的滋长，加上少数"左派"的推波助澜，一扫庐山会议前期那种纠"左"的活泼气氛，在对于彭德怀的信的评价上，形成一边倒的不正常现象。从此，庐山会议由纠"左"转向反右。
在各小组会上，极"左"派们按照并发挥了毛泽东的观点，率先对彭德怀及支持彭德怀意见书的黄克诚、张闻天、周小舟等人进行上纲上线的批判，指责他们是反对党的根本路线和毛泽东的正确领导，把他们之间正常的工作关系和在会上观点一致视为"阴谋"，捕风捉影地认为彭、黄、张、周已结成1个"军事俱乐部"性质的"反党集团"。伴随着会议反右温度的不断升高，原来赞成或基本同意彭德怀意见书的同志，在强大的政治压力下也不得不检讨自己的"不坚定"，并表示要同彭德怀等人划清界线，随波逐流地卷入反右和批判彭德怀等人的斗争旋涡。
7月29日，庐山会议印发了一份由毛泽东加按语的参考文件，有赫鲁晓夫在苏共二十一大上的讲话，说中国的人民公社搞的是"超阶段"的"平均共产主义"，有美国国务卿、极端反华反共分子杜勒斯说中国大陆经济"比例失调"等，从而得出敌人"内外夹攻"三面红旗的错误结论。8月1日，毛泽东将上述文件转给一位中央领导同志，并在附信中说：1个百花齐放，1个人民公社，1个大跃进，这三件，赫鲁晓夫们是反对的，或者是怀疑的。我看他们是处于被动了，我们非常主动，你看如何？这三件要向全世界作战，包括党内大批反对派和怀疑派。一些坚持"左"倾观点的人，从毛泽东的信联系到彭德怀、张闻天上庐山前曾访问过苏联和东欧，就指控彭德怀同赫鲁晓夫之间有什么秘密勾结，强加给彭德怀"里通外国"的罪名。同日，中共中央常委在毛泽东的主持下举行会议，毛泽东指责彭德怀几十年来和他是三分合作七分不合作，在几次党内路线斗争中都站在错误路线方面，"犯了军阀主义、大国主义和几次路线上的错误。"林彪在发言中攻击彭德怀要招兵买马，是阴谋家、野心家、伪君子，说中国只有毛泽东是大英雄，谁也不要想当英雄。他的发言被认为"打中要害"。彭德怀在几十年革命武装斗争中，战功赫赫，有口皆碑。当然，他不可能是1个完人，也难免有过某些失误，并都早已得到正确解决。庐山会议在清算彭德怀的历史旧账时，不讲功劳，只讲错误，对错误又肆意夸大，无限上纲，实乃重开党的历史上曾经出现过的那种"残酷斗争、无情打击"的错误斗争方式。