陈立夫接受任务后，可以说是喜忧参半，喜的是蒋介石将这样重大的使命交给他，说明他在国民党中的作用已非他人可以取代了，想来真有点受宠若惊；忧的是此去责任重大，不知能否成功归来，想来又有点惶恐不安。但事已至此，还得努力去做，能否成功，只得听天由命了。陈立夫迅速做好了一切准备，再次晋见蒋介石，在聆听了蒋的训示后，便打点行装，启程赴苏。
1935年12月24日，陈立夫化名李辅臣，从南京乘车到上海，在上海秘密登上了一艘名为朴次丹号的德国邮船，他准备先到德国柏林，再从柏林转赴莫斯科。与他随行的是特工总部的设计委员会主任张冲，他化名江融清；另外还有新任驻德国大使程天放及随员。邮船离开上海码头后，很快便驶入辽阔的大海，海面上一碧万顷，不时有海鸥掠浪而过，陈立夫此时无心欣赏海上壮观的景色，他望着水天交接的远方，深深思考着很多问题。他想，到莫斯科后，将与斯大林谈判，斯大林的性格、品质会是怎样的呢？自己将如何进行这场谈判呢？如果谈判成功，签订了军事协定，将会开创一个新的局面。倘若谈判失败，后果会如何呢？想到这里，陈立夫顿时感到肩上任务的沉重，他的内心，也如这大海一样，蕴藏着不可估测的种种神秘。
由于同船还有电雷学校20多名学生准备赴德进修，他们不久前都听过陈立夫的演讲，因此，陈立夫不得不尽量做到保密。船每到一个检查站，旅客必须到甲板上接受检查，这时，陈立夫便戴上大墨镜，以免被人识出。平时，便蛰居舱房，托词有病不出门，饮食用品一律送到房中。
船到法国马赛时，上岸很麻烦，在检查护照时，全都集合在一个大厅中。于是陈立夫便要张冲先去，到最后一名时他才去，这时检查人员也很疲困，得以安全过关。然后，他们托船上茶房代为找了一家旅社，稍事休息后，到了晚上，便乘火车去了柏林。
陈立夫到了柏林后，与张冲住进市中心一家出租房间，这儿离中国大使馆较近，程天放则去大使馆就职，陈与蒋介石来往电报由程天放负责。当时，希特勒当政，正处于权力顶峰，大街小巷特工密布，气氛十分紧张。蒋介石要求陈立夫在柏林静等行止，何时进入俄罗斯，要根据形势演变决定。由于陈立夫此行是秘密的，他与张冲不能公开活动，一般情况下都闭门不出。他只是希望尽快得到蒋介石的指令，好尽快东行，但天天盼望，都无消息，只能在惶惶等待中消磨时光。
后来，终于得到蒋介石的指示，说是到俄国“为时尚早，可先到法国、瑞士、意大利一行”。于是，陈立夫与张冲便遵嘱前往这些地方旅行，为了避人耳目，每到一地，都住最贵的旅社，因为这类旅社，一般中国人是不去的。他们白天蛰伏，晚上出来逛夜总会、看电影，打发时光。
陈立夫在出国时，为恐走漏消息，曾写了十几封亲笔信，嘱夫人孙禄卿隔几天便从杭州发往南京，告诉亲友与相关人士，说他在杭州有病休养，所以报端没登载陈立夫出席国内一些会议的消息，虽有种种猜测，但很快释疑。
日本方面不知怎么探知蛛丝马迹，不久便放出试探的谣言，说蒋介石派陈立夫赴苏俄，将与苏俄联合对日等。苏联听此消息后十分害怕，恐轴心国因此而联手制俄，因此对陈立夫赴俄不再热心。
在此情况下，蒋介石对中苏关系作了错误的分析，他认为：“日俄两国对我中国，有一相同的企图，就是迫使我们中国脱离西方，尤其对美关系，而陷入孤立地位，只有听任他们的宰割。日俄两国……为了共同对付西方尤其是美国，亦可以瓜分中国为条件，而互谋妥协。”基于这种错误的分析，蒋介石认为直接与苏联进行高级会谈的时机尚未成熟，如果匆匆行事，到时机密泄露，将使中国陷于难堪境地，因此，急令陈立夫取消赴苏计划，迅速返国，不得有误。
一个政府若只能用镇压人民的力量表达到统一或拥护，那它的结局只能是被人民的力量打垮。当时，陈立夫正在匈牙利旅行，中国驻土耳其大使贺耀祖专程到匈牙利，传达蒋介石指令说：“现在情势不佳，风闻日本已推测蒋委员长派陈立夫到苏俄去，苏俄获此甚感不安，深恐引起轴心国家对苏俄发动战争，故蒋委员长已令我转告不必去苏俄了。”
陈立夫接电后，感到十分意外，他还不知个中底细，当然更不知道蒋介石的用心何在，他只知道服从命令，这是他跟随蒋介石多年所形成的习惯。因此，他接到密令后，二话没说，即收拾行李，与张冲一道，踏上了返国的旅程。
关于陈立夫这次中途而返的莫斯科之行，有的外国学者提出相反的看法，他们认为，陈立夫到过莫斯科，并与苏联党政领导人进行过会谈。如美国学者约翰·W.加佛在他的《第二次国共合作的由来：共产国际与中国共产党》一文中这样写道：“陈在柏林待了两个月后，取道莫斯科回国，虽然陈在莫斯科逗留了几个星期，但斯大林既不愿见他，亦不愿向其他中国外交官表达他对中苏关系的意见，苏联领导人的确对中国使苏日陷入麻烦的计划有疑虑。斯大林与蒋均希望利用中苏关系改善本国与日本的关系。……陈在莫斯科主要是跟苏外长李特维若夫会谈。双方曾达成一个互不侵犯的协议草案，1937年8月签订的中苏互不侵犯条约就是在此基础上产生的。虽然陈李会谈的档案迄今没有公开，但他们可能就中苏关系进行了广泛的讨论。”
我们认为这位美国学者的看法是值得商榷的，陈立夫没有到过莫斯科，当然也不会与苏联外长李特维若夫会谈。
第一，在国民党的官方材料中，没有提到过陈立夫到过莫斯科，也没有陈李会谈的纪要。台湾官方出版的《中华民国史事日志》是这样记载的：“12月24日，陈立夫偕张冲秘密离上海赴欧洲（苏俄史达林请蒋委员长派人密商，陈奉命前往，与新任驻德大使程天放同船。陈在欧洲留四个月，未获与俄方代表会晤，无结果）。这条材料说明陈立夫在欧洲停留，没有到莫斯科，当然，莫斯科也属欧洲范围，但如果陈立夫果真是去了莫斯科，“史事日志”应该会清楚注明的。
第二，陈立夫在美国时，曾与人谈到过他这次中途而返的赴苏之行，没有透露他去了莫斯科，他写的《参加抗战准备工作之回忆》这篇文章也回忆到他与张冲秘密前往苏联，“企图就对日军事同盟的设想与苏联政府商谈”，说是中途返国，没有说到过莫斯科。他晚年写的回忆录《成败之鉴》，明确说明是在匈牙利接到蒋介石命令，取消莫斯科之行，中途而返的。
第三，国内一些人写的回忆文章及港台学者撰写的著作，在谈到陈立夫赴苏谈判时，都一致认为是中途回国，没有成功。
第四，当时在莫斯科担任国民党政府驻苏大使馆武官的邓文仪后来写的《冒险犯难记》一文也没有谈到陈立夫的莫斯科之行。当时邓文仪在莫斯科，也负有与苏联政府和中共驻共产国际代表团接触的使命，如果陈立夫去了莫斯科，那么一切情况他是最清楚的，《冒险犯难记》正是记述他在莫斯科与苏联政府、中共代表团会谈的情形，不会对陈立夫的活动毫无涉及的。
根据以上几点理由，我们可以说，陈立夫没有到过苏联，是一次中途而返的莫斯科之行。陈立夫回国了，他的心情是复杂的，也难于言表的，既有失去了一次打开新局面的遗憾，同时又为免去了一次与共产党领导人交手的麻烦而感到少有的快慰。打通国共关系
陈立夫从柏林回国后，继续参与和苏联驻华大使鲍格莫洛夫的谈判。这时，中日关系更加紧张，日本帝国主义陈兵华北，觊觎整个中国。在此情况下，全国人民抗日救亡的呼声一浪高过一浪。中国共产党为了集结全国的人力、物力和财力发动抗日战争，及时确定了建立抗日民族统一战线的方针，果断地停止了反蒋宣传，放弃了打倒国民党、推翻国民党政府的政治主张，并为建立国共两党的合作关系作了不懈的努力。
在全国人民抗日热潮的冲击下，在中国共产党合作诚意的感召下，同时从国民党本身的利益出发，蒋介石感到“围剿”共产党、“围剿”红军的政策难以继续推行下去了，不得不考虑中国共产党和全国人民“停止内战，一致抗日”的呼吁。
此时，陈立夫与鲍格莫洛夫关于中苏缔结军事协定的谈判正在紧张进行。在谈判中，苏联方面提出了改善国共两党关系问题，并对此表现出浓厚的兴趣，鲍格莫洛夫一再向陈立夫表示：“苏联政府特别注意蒋介石同中国红军的关系。他说，如果蒋介石的主要力量用于‘剿共’，蒋介石的军队同红军不实现统一战线，那么，对日本的侵略进行严重的斗争，是不可能的。”
对于鲍氏的意见，陈立夫认为是有道理的。九一八事变后，陈立夫的思想就有了些变化，他认为日本侵略中国，造成了民族危机，现在是外敌当前，如果仍然将国民党大部分军队调往苏区，去“围剿”红军，以达到消灭共产党的目的，这种办法不但行不通，而且容易遭到国内外舆论的反对。因此，他主张和共产党接触，用招安的办法接纳共产党，在中日战争发生时，还可以利用共产党的武装去抵御日本的进攻。正是基于这种想法，陈立夫即向蒋介石报告了与鲍氏谈话的内容，特别报告了鲍氏提出的改善国共关系的建议，并陈述了自己对国共两党重新接触的想法。
对于改善同共产党的关系，蒋介石也早有考虑，他认为：“中日战争既已无法避免，国民政府乃一面着手对苏交涉，一面亦着手中共问题的解决。”1934年底，蒋介石在交给二陈主持与苏联驻华大使鲍格莫洛夫进行外交谈判的任务时，就另外给他们一项秘密任务，即寻求与中共接触的途径，但后来由于形势的变化，他一直再没有过问。现在，蒋介石听了陈立夫的报告后，重新又勾起了他与中共接触的兴趣，而且较以前还要浓厚。蒋介石心里明白，既然希望得到苏联的帮助，同时也从维护自己的统治出发，就不能不考虑在国共两党关系上作出新的姿态。
1935年夏天，蒋介石在陈立夫的陪同下，又一次接见了苏联驻华大使鲍格莫洛夫，接见时，他向鲍大使表示遗憾，说：“中苏之间发生了一连串误会，特别是他对中国共产党的态度问题。”他说他正着手改善同中共的关系，准备同中共讨论抗日问题，但他又强调，中共可以合法存在，但不能拥有自己的军队。鲍大使表示理解。
在蒋介石接见鲍格莫洛夫后，陈立夫继续与鲍氏盼淡判，在谈判中，陈立夫代表蒋介石多次向鲍大使提出要求，希望苏联出面向中共作工作，说服中共“解除武装……以政治方法来解决”。以实现中国的统一。陈立夫还表示：“如果苏联政府就中国红军承认中央政府权威一事向红军施加压力，那么苏联政府就可以表示对南京的真诚态度并赢得南京政府这个真诚的同盟者。”但当时的苏联并不想在中国的国共两党关系中充当调解人，因此，鲍格莫洛夫向陈立夫反复申明，苏联在国共两党关系的改善中将不起任何中间的作用，蒋介石在没有中间人的情况下完全可以同中共谈判。这样，蒋介石希望通过苏联的关系达到与中共接触的途径便断绝了，他只好自己去寻找同中共接触的机会。
早在1935年秋天的时候，陈立夫在动身去莫斯科之前，就曾与蒋介石商定，准备通过国民政府驻苏大使馆与在莫斯科的中共驻共产国际代表团取得联系。当时，正好驻苏大使馆首席武官邓文仪回国述职，已到了新疆，陈立夫便建议让邓文仪具体承办此事。于是，蒋介石即令邓文仪迅速回莫斯科去，说有要事让他去办，这要事即是到莫斯科去，与中共驻共产国际代表团进行接触。邓文仪接到命令后，不敢怠慢，南京也没回，马上从新疆启程赴苏。
第二年春天，邓文仪返抵莫斯科。在苏联政府和共产国际的帮助下，邓文仪会见了中共驻共产国际代表团负责人王明，双方进行了恳切的会谈。据邓文仪回忆：“三月初，回到莫斯科后，除积极筹划开展武官处的工作外，对于莫斯科与中国有关的俄国高级将领，过去曾在中国担任顾问的人，及中国共产党在莫斯科的代表，曾有相当联系及恳谈。”在谈话中，邓文仪按蒋介石与陈立夫的旨意，向王明提出了三项条件：（一）取消中国苏维埃政府，其所有领导人和工作人员参加南京政府；（二）改编中国红军为国民革命军，因为同日军作战必须有统一的指挥；（三）国共两党恢复1924—1927年存在的合作形式或任何其他形式。邓文仪还提出，改编后的红军可以开到内蒙古前线抗日，或划给西北部分区域作为红军的基地。王明向邓文仪阐述了中国共产党关于建立抗日民族统一战线的主张，邓文仪表示理解，并告诉王明，蒋介石看到他在共产国际七大上关于建立抗日统一战线的发言和有关文章后，就决定同中共接触谈判。同时，邓文仪还提出，国民党可以派高级领导人到莫斯科来和王明会谈。邓文仪与王明进行了多次讨论，最后，王明认为，无论是共产党还是国民党，中央都在国内，双方领导人也都在国内，谈判以在国内进行为好。不久，中共代表团指定潘汉年为联系人，与邓文仪会见，并派潘汉年回国，与国民党代表继续谈判。
当邓文仪在莫斯科与王明频繁接触、讨论国共合作问题时，陈立夫在国内也在另辟蹊径，试图打通共产党的关系，他将这一任务交给了其亲信曾养甫，由曾养甫具体经办。
曾养甫时任国民党中央执行委员，铁道部政务次长。他接到任务后，深感其艰巨性。因为当时国共两党还处于敌对状态，在苏区，蒋介石调动大军进行多次“围剿”，致使红军不得不举行长征，红军到达陕北后，蒋介石又亲临西北，派兵重重包围，欲除之而后快，在这种状态下，是不能到西北去与共产党接触的。在国统区，由于国民党的大肆屠杀，共产党已完全处于地下状态，平时特务们想抓到一个普通的共产党都难上加难，现在到哪里去找到共产党负责人，与他们接触呢？他感到找共产党之难，难于上青天。
曾养甫经过几天认真考虑后，终于有了办法，他找来了在他主持的杭州浙赣铁路理事会担任秘书的谌小岑，将与共产党接触的任务交给了他，并告诉他此事是由陈立夫在主持，陈对此事十分关注，要他尽快完成。曾养甫为什么会选择谌小岑呢？因为谌小岑在五四运动时期曾参加过周恩来领导的觉悟社，且与周恩来有私人关系，曾养甫便认为谌一定还与周恩来保持联系，也一定知道中共的行踪，是能够找到共产党的。