由于蒋介石在实质性问题上寸步不让，后来，周恩来与蒋介石在杭州的谈判也没有取得大的成果。
对于这种蜗牛似的谈判，陈立夫心中有些着急，但他也不好过多说话。自从西安事变以后，蒋陈之间的关系总像渗入了点什么，不如原来那么自然了，蒋介石虽说也还重用二陈，将主持国共谈判的重任依旧委托于他们兄弟俩，但已不是像以前全权相托了。蒋介石以照顾各方为借口，一方面将军统方面的人拉进来，插手谈判，对陈立夫给予制约；另一方面，自己干脆直接过问，把陈立夫撇在一边。这种态势，使陈立夫开始明白，蒋介石已不像原来那样信任他了，他如日中天的地位开始面临西斜的趋势，想到这里，他不免自怨自艾。但事已至此，他还得强打精神，尽力为蒋介石效劳，或许会有新的转机。
1937年5月，蒋介石为了加强与共产党谈判的力量，同时牵制陈立夫，又找来军统四大巨头之一的康泽，命他参加国共两党的谈判。蒋介石在庐山牯岭召见康泽时明确吩咐：“你以后就参加国共谈判，现在周恩来他们已经到南京来了，你和立夫先生，张淮南（张冲）一道去和他们谈。”从蒋介石的谈话中，康泽已经明白蒋要他参加国共谈判的用意了，但他却不敢公开对陈立夫表示轻慢，因为在蒋介石指定参加谈判的3人中，张冲也是陈立夫的人，而陈立夫与蒋介石的关系并没有恶化，依然是国民党内最有权势的人物之一。所以康泽庐山听命后，即与张冲商议如何行动，张冲也有意夸大陈立夫在与共产党谈判中的作用，他对康泽说：“这个谈判，我和立夫先生一道参加很久了。”他还介绍了陈立夫主持国共秘密接触的大概经过，并建议：“这件事，只有立夫先生才知道得更清楚，我们一道去南京和立夫先生谈谈如何？”显然，张冲还是希望参加国共谈判的几位国民党代表能统一在陈立夫的领导下进行工作。
康泽无奈，便将汉口禁烟缉私处（当时康泽任该处主任）的事务作了交待后，即与张冲启程到南京，与陈立夫见面。陈立夫见蒋介石又安排了军统方面的人参加国共谈判，心中老大不舒服，但又不好表示出来，便在康泽面前摆出一副领导者的姿态，他先要康泽谈了自己对国共谈判的一些构思，然后，便提出了一些指示性的意见。他冷着脸，郑重而严肃地向康泽与张冲交待：“第一，关于边区辖境问题，委员长说过，多划一两县，少划一两县没有多大关系；第二，关于边区隶属问题，不给它隶属于行政院，要它隶属于陕西省政府，不然，他们就要直接找行政院的麻烦；第三，关于边区主任的人选问题，他们要求于右任、张继、宋子文三人中择一任命；第四，释放政治犯的问题，就是要他们开名单来，等他们开来后，我们借口向全国调查，可以任意拖时间；第五，关于办报问题，这不能准他们。”陈立夫对康泽的这段指示中，基本原则没超过蒋介石所限定范围，但也有一些表示他自己的态度，如关于边区主任人选问题，他没有明确表示自己相反的意见，实际上是对共产党所提方案的一种默许。关于边区隶属问题，他只是怕找麻烦，才提出隶属陕西省。关于释放政治犯的问题，他没有完全拒绝。关于办报的问题。陈立夫坚持不准，但后来他得知国民党宣传部长邵力子已经允许共产党办《新华日报》后，便不再说什么了。应该说，陈立夫表现了比蒋介石稍微灵活一些的态度。
对于陈立夫的意见，康泽显然不能完全接受，他知道，有些并不是蒋介石的本意，于是他很快找到蒋介石，汇报了陈立夫对谈判的意见，并提出了自己的看法。康泽认为，从于右任、张继、宋子文三人中选择一人去任边区主任是不相宜的，他说：“张继先生对党虽然忠诚，但很感情用事，恐怕不能担当此任。于右任经不得一拍，共产党对他好了，他就会跟着共产党走的。至于宋子文，好像更感情用事。所以这三个人跟共产党打交道，都只会受共产党影响。”这一说，蒋介石也好像突然醒悟，连连说：“他们三个人都不相宜。”但派谁去相宜呢？蒋介石一时还难以定夺，康泽便趁机向蒋推荐了丁惟汾，蒋介石因找不到更适当的人选，便同意派丁惟汾到边区去担任主任。
康怿推荐丁惟汾明显是针对陈立夫的，其一，对陈立夫在此问题上暧昧的态度是一种无声的批评。其二，丁惟汾是陈立夫的对头，早先时候，国民党内由丁惟汾主掌党务，丁大权独握，蒋介石也敬他三分，一时有蒋家天下丁家党之说，后来却被二陈所取代，丁家党变成了陈家党，所以丁惟汾一直对二陈心怀不满。现在提出丁惟汾，是想让陈立夫不好下台。开始，陈立夫听说由丁惟汾出任边区主任，心中十分恼火，但知道蒋介石已同意后，便装聋作哑，不再说话了，心中不免暗暗忌恨康泽，认为这是军统方面故意给自己作难。后来，国共两党在谈判时，国民党所推荐的丁淮汾被中国共产党所拒绝，陈立夫心中暗自高兴，便顺水推舟，指示张冲等人不要再坚持派丁惟汾。这样，边区主任人选之事便不了了之。
1937年7月7日，卢沟桥事变发生，抗日战争正式爆发。在民族危亡的紧急关头，二陈都主张抗战，陈立夫认为：“世界上任何民族，如未丧失其自信心，必能抗拒任何危难，保持其民族之独立自由。”陈果夫在卢沟桥事变后，提醒当局，注意上海的防卫，说：“海陆争攻，不可不防也”，并亲赴江苏各县，“促速组织民众，为国防准备”。要抗战，必须动员全国人力物力，必须各党各派团结一致，因此，二陈都希望国共两党能尽快实现合作，以利中国的抗日战争。
中国共产党从民族利益的大局出发，以极大的诚意加速完成与国民党的谈判。9月，中共代表博古从延安来到南京，与原在南京的叶剑英一起，和国民党进行谈判。谈判期间，陈立夫一直没有露面，主要是由康泽、张冲直接参加。但陈立夫要求每次谈判前，一定要见他，由他指示谈判意见，谈判后，也要向他报告情况。实际上，整个谈判，国民党方面一直由陈立夫所主持。在有些方面，陈立夫表现了他的顽固性，始终坚持接纳共产党，而不是对等的合作，要求共产党在国民党的领导下，在三民主义的指导下活动。但在有些方面也表现了其灵活性，作了某些让步。双方经过激烈的争论和紧张的谈判后，陈立夫不得不指示康泽、张冲等国民党代表同意中共在《中共中央为公布国共合作宣言》中所提出的政治主张，并在宣言稿上签字，蒋介石也同意发表这个“宣言”。
9月22日，国民党中央通讯社发表了《中共中央为公布国共合作宣言》，23日，蒋介石发表对中国共产党宣言的谈话，这就标志着国共两党第二次合作正式形成。
在谈判取得基本成功后，仍然还遗留着一些有关两党合作的重要问题，如合作形式、共同纲领及改革政治问题等，而这些问题的解决，对巩固两党合作，推动全民抗战，均具有很重大的意义。继续通过谈判，解决这些问题，就十分迫切和必要了。
9月以后，日军侵略气焰更加嚣张，中国军队连连失利，上海、南京失守，国民政府移到武汉，这时，中共以周恩来、博古为代表，继续与国民党谈判，以解决遗留问题，国民党方面，陈立夫仍是谈判的主持者，他继续为改善两党关系而努力。
在谈判中，周恩来等提出，为使已经形成的两党合作关系更加巩固，应该成立两党关系委员会，作为合作的领导机构。还提出应决定共同纲领，扩大国防参政会为民意机关等建议。
对这些建议，陈立夫都表现了比较积极的态度，他将中共的建议向蒋介石详细报告，并说明自己的意见，以取得蒋的同意。在蒋陈意见趋向一致后，陈立夫便建议蒋直接与周恩来等中共代表面谈。在陈立夫的帮助下，中共代表周恩来、王明直接会见了蒋介石，当王明向蒋介石说明中共关于建立合作的领导机构等主张时，蒋介石当即答复：“所谈极好，照此做去，前途是见好转”，并说他想的也不过如此，对中共建议表示同意。谈到日本侵略时，他认为“外敌不足虑，他愈前进困难愈多，军事虽失利，并不足虑，只要内部团结，胜利定有把握”，同时告诉周恩来、王明等，今后两党关系已告陈立夫等并可与之商量一切。在蒋介石的首肯下，作为国共合作的领导机构，两党关系委员会很快成立了，陈立夫由于对两党关系所作的开拓性的工作，也作为国民党方面的代表，参加委员会。
蒋介石的故乡奉化溪口，景色秀丽，风光怡人。关于共同纲领，周恩来、王明亲自会见陈立夫，希望尽快讨论拟定，陈立夫也表示要加快速度，并在有些方面进行了讨论，双方“谈话尚接近”，陈立夫也“承认两党关系须调整，规定共同纲领，努力实现”。经几次交谈后，陈立夫准备将双方所达共识的东西整理成文，报蒋介石批准，作为共同纲领草案，再逐步完善。但后来，蒋介石却坚持要共产党合并于国民党，这种无理要求即遭共产党拒绝，这就使两党关于合作形式及共同纲领的谈判不了了之。而已经建立起来的两党关系委员会，也因为没有什么实际活动，渐渐不取自消。二陈对国共合作也逐渐冷淡下来，陈果夫甚至认为第二次国共合作是“共党之策略，极为恶毒，拟仍用十三年至十五年之方法，以消灭本党”。并不再关心两党合作的发展与巩固。
这样，第二次国共合作也就最终形成了一种“没有成文纲领，只是遇事协商”，道义承诺比重颇大的“东方式”的合作。但不管怎样，抗日民族统一战线终于达成了，这对中国抗日战争的胜利起了决定性的作用。
陈果夫、陈立夫兄弟俩在国家和民族处于被外敌侵略的危急关头，能顺应历史的潮流，努力使国共两党在十年内战后重新携手，“相逢一笑泯恩仇”，他们做了一件有益的工作，也是他们对国家、对民族的贡献，更是他们人生历史上值得骄傲的一页。