1926年2日，鲍罗廷以“回国述职”为由向广州国民政府请假，去中国北方。同月15日，鲍罗廷在北京向布勃诺夫等汇报了广东革命根据地的情况。
在鲍返粤之前，留在广州的苏联顾问斯切潘诺夫等，基于蒋已经“承担责任”、“请求处分”、逮捕欧阳格、驳斥上海“二大”，初步确定了“联蒋”的方针。其基本思路为：其一，在“联蒋”的同时，准备与之斗争；其二，迎合蒋所表示的愿望，调回军队中全体共产党员，将名单交给各高级长官；其三，满足蒋想在将来当总司令的欲望，协助他得到比现时更大的权力与实力；其四，争取在蒋提议召开的国民党中央全体会议前后，缔结一种条约，共谋国民革命之实现；其五，国共两党之间的各种问题，应召集两党中央委员会的“联席会议”来解决；其六，“吾辈政策计在利用蒋介石”。
4月8日，在共产国际一机关刊物上发表了一篇题为《广东政府与中国革命运动》的文章，谓蒋介石“不可能在一夜之间就发动一次政变”，“广州人民政府看来从没有今天这样受到拥护”，为蒋开脱责任，这是苏联顾问对华工作方针上的一个重大转折。
鲍罗廷探得要领后，也一改原来回国计划，4月29日，回到广州。事实上，鲍此次回来最关心的问题就是如何重新恢复苏联与蒋介石的关系，特别是在经历中山舰事件后，如何不让苏联在中国革命的投入不付之东流和前功尽弃，而当鲍再次回到广州时，眼前又发生了许多意想不到的事。
中山舰事件之后，右派最初认为蒋介石向右转了，企图靠近蒋。但是，在4月20日蒋解除了吴铁城的职务之后，右派改变了看法，蒋不可能投入自己的怀抱，因此，开始接近李济深和其他广州其他军事领袖。并利用汪精卫不在的机会，没有通知国民政府，计划为胡汉民的到来举行精心安排的庆祝典礼，向其致敬。他们甚至准备为他建立一座凯旋门，并且举行示威以支持胡汉民成为政府首领。胡汉民秘密地会见了伍朝枢、孙科、吴铁城、古应芬等和其他右派，并且使李济深、陈铭枢和其他广州军事将领站到自己一边。他告诉蒋，鲍罗廷将开始解决三·二○事件，怂恿蒋逮捕鲍罗廷，试图在左派内部制造分裂”，这对蒋来说是个极大的刺激。
同时，右派分子散布共产党即将“共产”的谣言，煽动银行家和商人罢市，结果，很多人到银行提款、挤兑，极大地扰乱了政府的财政秩序。5月7日，青年军人联合会和孙文主义学会两派分别组织示威，孙文主义学会的潘佑强和杨引之被打得半死。最后，黄埔军校的指挥官们要求蒋介石采取行动，从国民党中清除共产党成员。5月16日，第一军第二师和黄埔学生举行了反共示威。这更加剧了蒋对共产党采取阴险手段和卑劣行径的准备。
蒋介石对鲍的到来，颇为不安，担心在汪精卫问题上产生“纠葛”。4月30日，蒋介石开始与鲍罗廷“商议党争，交换意见”，发现鲍尚有猜忌。在最初的试探之后，蒋介石审时度势，认为不能退让，必须强硬对待。他提出，要求限制共产党人在国民党内的职务。鲍罗廷由于感到一场右派政变迫在眉睫，决心以向蒋介石让步为代价，换取他对右派的镇压。鲍罗廷认为，蒋介石有很严重的缺点，但在现时的国民党人中，没有人能像他有力量、有决心，足以打击右派的反革命阴谋，为了打破当前极度危险的僵局，不得不对蒋作最大限度的让步。
鲍罗廷与蒋介石屡次会商国共合作问题，制定整理党务办法。当鲍罗廷与蒋商量这个办法时，对他的态度极为缓和。鲍、蒋会谈的结果很快明朗：其一，鲍对于蒋在三四月间的所作所为，包括对他的限制、排斥共产党员，以及蒋制造出来的“以蒋代汪”的局面，采取承认的态度；其二，鲍将此时运抵广州的援华军事物资，悉数交给蒋介石，这些物资包括两万多支来复枪、数门野炮、数架飞机等；其三，蒋允予续聘鲍罗廷为高等顾问，并同意鲍提出的关于打击右派的意见。这就是鲍、蒋之间的几点“君子协定”。5月4日，蒋如约续聘鲍罗廷为高等顾问。6日下午，援华军事物资由兵舰运到。这样一来，蒋的所作所为，一下子全成了为苏联所支持、所认可的行为，怨蒋批蒋之口遂被封住，汪精卫的出路也完全堵死，同时为以后的“反共清党”的变本加厉讨了个合法借口。不仅如此，至此，蒋对苏俄的态度了如指掌，故能牢固掌握，尽为其用，尤其是助长了蒋对共产党的排挤和打击气焰。
鲍与蒋订立的“君子协定”，究其实质，内容主要是“弃汪联蒋”，这对于国民革命的现在和未来走向是具有决定性意义的。它确认了“以蒋代汪”的格局，推波助澜地将国民党、国民政府的历史，推向了以蒋介石为轴心的时代。
与鲍罗廷一同联袂归来的胡汉民，此时收回了他在莫斯科公开的拥护苏联、拥护第三国际的调子，以亲见亲?的“资格”，游说拒俄、排共，以求东山再起。他实在是打错了算盘，蒋介石意在一人独断，不可能搞蒋胡合作，再者胡的拒俄游说，特别是他对蒋提出的“扣留鲍罗廷”的主意，更提得不是时候，如果真是那样做的话，蒋介石自断筋脉，因此胡之此行注定是一无所成的。不出所料，1926年5月9日，在广州政坛败出的汪精卫、胡汉民，同时离粤。
“君子协定”的另外一个问题是抑制****。由于蒋介石对鲍罗廷的底牌掌握得一清二楚，因此，从一开始，蒋就提出，要求限制共产党人在国民党内的职务。这便成为蒋公然向****发动一次党务限制和清除运动。5月12日，蒋介石即与鲍罗廷商谈“党务整理办法”。
虽然鲍也表示过不同意见，但态度极为缓和，凡蒋介石所提主张，鲍在支支吾吾中全部接受了。14日，蒋对鲍说：“对共产党提出条件虽苛，然大党允许小党在党内活动，无异自取灭亡，余心实不愿提出亡党条件，但总理策略既在联合各阶级，故余不愿违教分裂也。”表面上声称遵从孙中山遗教，而实行上认为孙中山的“穷共”将导致国民党之“亡党”。对此，鲍罗廷“默然”无语，不作表态。
种种情况助长了蒋反共之野心，整理党务案即是在此维妙关系中出台和实施的。
在国民党中央党部第十八次党务会议上，蒋介石认为中山舰事件后内外谣言四起，众说纷纭，整个国内风言风语，一片混乱，为统一口径，蒋介石建议召开国民党二届二中全会。至5月中旬，预定会期已到。而此时，蒋已完全控制住了苏联顾问，
也解决了汪、胡的问题，能够从容操纵会议，将自己的意志上升为“党”的意志。
会议之前，蒋于13、14日分别与张静江、鲍罗廷、谭平山、张国焘等谈话，谈整理“党事”及国共“妥协”条件，对共产党的活动提出了严厉限制的条例。
5月15日，国民党二届二中全会在广州召开。出席会议共40多人，谭延闿、蒋介石、谭平山为主席团成员，蒋介石为主席。
蒋介石宣布开会理由，矛头直指共产党，指责“自从先总理逝世之后，本党内部，日益纠纷，一般跨党党员，时有轨外行动”，“反客为主”，等等。随后，由蒋介石、谭延闿、孙科等九人，提出《整理党事案》，核心内容为四项原则：一、改善中国国民党与共产党的关系。二、纠正党内跨党党员之轨外行动及言论。三、保障国民党党纲党章的统一权威。四、确定共产党员加入国民党之地位与其意义。此案并提出组织“国民党与共产党联席会议”，其目的为“总期跨党党员不再有违背规约之行为”；而会议之议事范围，“为审查跨党分子违背纪律及两党之纠纷问题”。
在《整理党事案》之外，蒋介石又单独提出国共“协定事件”八条提案：一、共产党应训令其党员，改善对于国民党之言论态度，尤其对于总理之三民主义，不许加以怀疑或批评。二、共产党应将国民党内之共产党党员全部名册，交国民党中央执行委员会主席保存。三、中央党部部长须不跨党者方得充任。四、凡属于国民党党籍者，不许在党的许可以外，有任何以国民党名义召集之党务集会。五、凡属于国民党党籍者，非得最高党部之命令，不得别有组织及行动。六、中国共产党及第三国际，对于国民党内的共产分子，所发一切训令及策略，应先交联席会议通过。七、国民党党员未受准许脱党以前，不得入其他党籍，如既脱党籍而入共产党，以后不得再入国民党。八、党员违反以上各项时，应立即取消其党籍，或依其所犯之程度，加以惩罚。
以上四项原则和蒋的八条提案，是在改善和调整两党关系的表面文字之下，运用国民党的组织机制，通过中央的名义，公开地和全面地限制、排斥共产党。是两党仍有合作关系的前提下，公然对共产党的污蔑、歧视和压迫，最后共产党实行退让。上述两个提案在文字上略作修订，并分别正名为《整理党务第一决议案》及《整理党务第二决议案》，于5月17日获得通过。
5月18日，蒋介石等又在会上提出《选举中央执行委员会主席案》。中央常委是国民党二大新设机构，由九人组成，而没有中央常委主席之设置。当时大会秘书长吴玉章解释，这样做是为了使“此后凡百事务，当必以多数人负责之故，而进行敏捷”。蒋介石这个提案，含有改变国民党中央领导体制的意义，其用意是进一步从组织上排斥汪精卫。国民党人称整理党务四个决议案中，以这个议案为最关键和最重要，关系到本党组织历史重心的重建。这个提案被正名为《整理党务第三决议案》，获得通过，并“选举”张静江为中央常委会主席。张静江是国民党中央监察委员会委员，蒋介石为了使张当选，竟在其提案中规定可由“监委”委员任“执委”主席，这也是因人设置的一个典型事例。20日，蒋介石又在会上重新登记党员的提案(《整理党务第四决议案》)，进一步控制共产党员的活动。
5月20日国民党二届二中全会闭幕。按照《整理党务案》的要求，在25日召开的第二十八次中央常务会议上，******(缺席)提出辞去宣传部代部长职务，林伯渠提出辞去常务委员会秘书及中央财政委员两职(未提辞农民部长职)，谭平山(缺席)提出辞去常务委员会秘书职务(未提辞组织部长职)。28日，张静江主持第二十九次中央常务会议，“照准”三人辞职。张静江提议：由蒋介石任组织部长，顾孟余任代理宣传部长，甘乃光任农民部长。
《整理党务案》通过后，****广东区委发表“宣言”云：“完成国民革命，尤须革命势力的长期团结。为巩革命基础和革命前途起见，需要一部分革命利益牺牲时，一部分的利益亦当准备牺牲。”
6月4日，****中央发表致国民党书，说《整理党务案》“原本关及贵党内部问题，无论如何决定，他党均无权赞否”，仅仅表明了一种消极的、委曲求全的态度。
国民党二届二中全会及其《整理党务案》，是对国民党一大和二大的全面否定。会议以实际行动“合法”地实现了张继、谢持、邓泽如等人“弹劾共产党案”、“戴季陶主义”以及西山会议种种“决议案”所提出的限制和排斥共产党的主张，完成了蒋介石处心积虑地排胡、去汪，取而代之，由蒋亲掌大权的夙愿。国民党、国民政府的权力体制，遂从中山舰事件以来，蒋介石步步进攻，至此可谓赢得了全盘胜利。鲍罗廷指望以让步换取蒋对右派的镇压，蒋介石在这方面给了鲍罗廷以某种满足。作为对蒋介石的回报，鲍罗廷又竭力动员蒋介石出任国民革命军总司令一职。在广州向全体顾问作报告时，鲍罗廷把蒋介石列为国民党中反对右派势力和资产阶级的中派代表，应予团结和支持。实际上，时值今日，鲍罗廷在与蒋合作这条道路已没有退路，他能够做的就是通过更多地赋予蒋介石以权力荣誉来博得蒋的信任，用平和的方式赢得蒋介石的心。鲍罗廷无疑是在给自己赌博，他希望运气会战胜理智。但事实表明，鲍错了，同时也意味着鲍输得很惨很惨。
在苏联的支配下，1926年6月4日，****为时局及国民党联合战线问题致书国民党，公开接受整理党务案。但面对着铁的现实，中国共产党的部分明智人士更了解局势已发展到怎样的境地，即使在苏联的高压之下，他们也还是作了些理智的分析和合理的反抗。
1926年7月，****中央召开第三次扩大执委会。会议进一步分析了国民党内部的分化，将其势力分为四种，首次正式指出蒋介石是新右派的代表人物，这表明****对蒋介石的认识开始转变。
会议通过的《中国共产党与国民党关系问题议决案》分析了中山舰事件和整理党务案的性质及发生的原因，认为这一切都是对共产党的一贯的进攻。
会议对国民党右派以及中派进攻的原因进行了分析，但得出的结论却是错误的，对问题的真正实质、问题的严重性和危害性没有认识清楚，所以对以蒋介石为代表的新右派没有任何反击的步骤与方法。
会议提出了对国民党的政策，然而，由于会议明确提出新右派即是中派，因而“反攻右派”的方针只是针对老右派的，所谓“应付中派”实际上是迁就中派并对其妥协退让。这种妥协退让的政策既达不到扩大左派的目的，又难以联合左派反对右派的进攻，大会制定的“应付中派”这一含糊不清的政策，事实上成了****在北伐战争期间对蒋介石的基本方针，这是****在对国民党策略上的失误。
就在****制定了“应付中派”方针的前后，蒋介石加剧了向****夺取中央和地方党权的攻势，蒋介石于5月28日出任国民党组织部长，陈果夫被蒋介石
任命为该部秘书(陈到任后，在四个月内，将原在组织部内工作的大部分****党员清洗出去)原西山会议派的叶楚伧、邵元冲分别出任中央执行委员会秘书长和青年部长。
但是，蒋介石并未以此满足，他又超出整理党务案的范围，进一步要求共产党人承认国民党的领导地位，同时要求参加国民党的共产党员退出共产党。5月27日，他对由退出军队的共产党人组成的高级训练班讲话，宣称“领导中国国民革命的是中国国民党”，“革命是非专政不行的，一定要一个主义、一个党来专政的。”6月7日，他在黄埔军校发表演讲称：
“一国有两个革命党，这个革命也一定不能成功”；“中国要革命，也要一切势力集中，学俄国革命的办法，革命非由一党来专政和专制是不行的。”他并称：“如果一党中间，有另外的一个小党的党员在里面活动，一班党员便起了猜忌怀疑之心，由这猜忌怀疑便发生一种恐慌，由这恐慌便生出冲突，由这种冲突使自己的势力互相残杀，同归于尽。”
因此，他要求共产党做出“暂时牺牲”，以便辅助国民党强大起来，次日，他向鲍罗廷明确提出：“共产分子在本党应不跨党。”同年8月，他派邵力子代表国民党赴莫斯科参加共产国际执委第七次全会，要求国际接纳国民党，同时命邵转达：承认共产国际是世界革命的领导，但共产国际应承认国民党是中国革命的领导，共产党实际上是不需要存在的。
7月13日，蒋介石以即将前往前线，无暇兼理组织部长职务为由，举荐陈果夫为组织部长。
同时，他与陈果夫以及代理中央常委主席的张静江策划了一套夺取省市党权的计划，篡夺地方党权，为“清党”铺路。
1926年10月，陈果夫决定改组广东省党部，并修改选举办法，在他的操纵下，广东全省代表大会的选举结果，只有三名共产党员当选为执行委员，改变了过去由共产党人
和国民党左派占优势的局面，这无疑为各地右派篡夺地方党权做出了示范。从而为日后的全面“清党”扫清了障碍，铺平了道路。