1932年下半年，佐尔格被召回莫斯科。别尔津有更重要的任务要他去干。按佐尔格的说法：“如果不是为了崇高的事业，我将在中国一直呆下去，我已深深地迷恋上这个国家了。”
回到莫斯科后，别尔津便把任务派给佐尔格——卧底东京，摸清日本的计划，然后回到柏林。
为了逃避审查，佐尔格重新申请了一张德国护照，使之从履历看来，他是从中国，而不是途经莫斯科返回德国的。同时他还准备了一些身份证明，确保不对他过去的历史追究太多。
1933年7月，一切准备就绪。佐尔格怀里揣着高级介绍信、记者证和崭新的德国护照登上了旅途，他先到法国港口瑟堡，从那里乘船经纽约到横滨，于1933年秋天抵达东京。
佐尔格到达东京的第一件事是去访问德国大使馆。新任大使还没上任，佐尔格受到使馆高级人员的热情接待，并与使馆官员们建立了联系。翌日，佐尔格又手持日本驻华盛顿使馆给外务省情报司司长天羽荣二的介绍信登门拜访。天羽是外务省数一数二的新闻发言人，他每周主持一次记者招待会，只有各国驻东京的首席记者才有资格被邀请参加。
不久之后，东京小组的核心成员克劳森和大崎陆续来到东京。他们不定期地与佐尔格交换和分析情报。大崎当时已是日本的名人了，更重要的是，他的一位老同学是近卫的私人秘书，而近卫在内阁中是强有力的，他后来出任首相，两次组阁。
佐尔格还吸收了宫木佑德作为小组的第四名成员。宫木是位善于收集情报的“艺术家”，他总是孜孜不倦地搜集各种情报。
佐尔格认为，“假若我真能在日本开始我的学者生活的话，宫木倒是位理想的助手。”
与此同时，佐尔格开始申请加入纳粹党，一年以后就得到批准。之后，他又提出申请，要求加入德国记者协会。
在佐尔格看来，作为一个外国人，即使像他那样是个德国人，要想直接打入神圣不可侵犯的日本政界去获取情报也是不可能的，必须从德国大使馆着手。为了获得藏在大使馆保险柜里的绝密材料，必须博得大使的绝对信任，这就是他的主攻方向。他的信条是：不要把手伸向保险柜，而要让保险柜自动打开，让机密材料自动来到自己的办公桌上。
1933年底，新任大使到东京上任。在此之前，佐尔格给《每日展望》撰写的一篇有关日本的文章在德国颇受重视，大使在柏林曾仔细地阅读过，这给大使留下了极其深刻的印象。因此，大使在起草致柏林的报告前同佐尔格交换资料和意见。
另一位给佐尔格帮上忙的便是使馆武官尤金·奥特上校。佐尔格到日本后不久，便拿着奥特的一位密友、《每日展望》的一位编辑的介绍信拜访奥特。在这种情况下，佐尔格的光临自然受到欢迎。
由于佐尔格显得很有教养、风趣、开朗活跃而大方，又当过兵，跟奥特一样还上过前线，这使他俩一见如故。正像佐尔格自己说的：“这种友谊可能由于我曾经是一个德国军人，在第一次世界大战中打过仗、负过伤。奥特作为一名年轻的军官也参加过那次战争。”
佐尔格经常给奥特提供关于日本军事方面的有用情报，或者是关于日本形势的精辟见解，这充实了奥特交给柏林的汇报，增加了他的份量。由于他的帮助，奥特升了官，由助理武官升为武官，并从名古屋调到了东京。
奥特在东京定居后，佐尔格便成了他家里的常客。佐尔格与大使及使馆武官的特殊关系，使得他与使馆人员的交往和大使馆的关系更进一层。
1936年初，佐尔格发现日本的政局正面临严重的危机。日本军部中的青年军官集团势力越来越大，他们提出“让那些无能的政客们滚下台去。”
佐尔格一直密切注视着这一集团的行动，根据对大崎和宫木收集到的情报的分析，他得出结论：青年军官集团正准备发动武装政变，一切取决于2月20日国会选举的结果。
青年军官起事前夕，佐尔格写了一份分析报告，在这份报告还没送往莫斯科之前，他决定向德国大使、武官和助理武官通报此事。但他们三人谁都不相信，对佐尔格提供的情报未予重视。
2月26日清晨，武装叛乱事件果真爆发！德国大使馆陷于一片慌乱，一时不知如何处置，而消息灵通的佐尔格的威望则更高了。此后，大使和武官对佐尔格更是言听计从。
经过几年的准备，佐尔格开始行动了。他的第一个任务是调查德日两国关系的发展状况和日本对苏联的秘密意图。他从奥特和大使那里获悉，迄今为止，德日之间的秘密谈判尚未取得任何结果。但是，谈判是否可能在更高一级秘密地进行呢？
一天，喝得酩酊大醉的奥特无意中漏出了这样一句话：德日之间的谈判重新又开始了。佐尔格警觉地等着他说下去，但新任武官却不再提这件事。同一天晚上，大崎通知佐尔格，英国和法国大使馆里也流传着德日恢复谈判的消息，并为此而感到紧张。
宫木从日方那里也了解到同样的情报。
佐尔格要求大崎和他的朋友摸清这些传闻的真实含义，自己则从德国使馆方面着手。在向莫斯科发出报告之前，他开始密切观察事态的发展。
4月、5月、6月飞逝而过，其间佐尔格只收到大崎的报告：1936年4月，日本驻德国大使同德国外交部就签订同盟条约一事举行过多次谈判，因日方不愿立即同德国签订军事同盟，故谈判困难重重。
此后，无论从奥特还是从大使那里都捕捉不到一点有关谈判的消息，很可能谈判对他们也是保密的。佐尔格因为无法获得德日谈判的确切消息和内容而忧心忡忡。
然而不久，奥特给佐尔格带来了好消息。一天，奥特把佐尔格叫到自己的办公室告诉他，大使和他本人从日本陆军总参谋部得知，德日谈判正在柏林进行，德国外事局根本未参加谈判，谈判负责人是日本驻柏林使馆武官小岛及德国情报局局长卡纳里斯海军上将。奥特让他帮忙拟一份密码电报给柏林德军司令部，要求提供有关谈判的情报。
柏林一时没有答复，奥特感到很烦恼。他又让佐尔格再发一封电报给柏林。德军司令部终于复电了。佐尔格从那里了解到许多细节情况，但总的来说，谈判仍在进行当中，结果尚不知晓。
后来，柏林派来了一位特别信使哈克来到东京，他是代表德国外交部和卡纳里斯秘密来到东京的。佐尔格在奥特的办公室里遇到哈克。哈克曾经与佐尔格在飞机上相识，于是，与奥特一起，他们3人便去东京一家著名的大饭店，喝酒叙旧。
从这个偶然的相遇中，佐尔格知道了自己想知道的一切：谈判正在进展，并最终能签订军事同盟条约；希特勒准备和日本共同攻击苏联。哈克此行是来日本制造气氛的，以便早日结成德日同盟。
这样，在全世界知道德日两国签订“防共协定”之前，苏联政府早就掌握其内情了。
1937年近卫爵出任日本首相后，组织了一个“科学协会”作为他的智囊团，特邀大崎参加。
大崎成了近卫的密友和谋士。这样，大崎得以直接参与国家政治事务，并可对首相直接施加影响。从此，佐尔格便可因此而获得更多的重要机密材料。
佐尔格根据大崎所获情报的分析得出结论：近期内日本不会对苏作战，但它正准备全面进攻中国。他将这一结论报告了莫斯科。
7月7日，芦沟桥事件爆发。7月10日，日本首相近卫、陆相杉山及外相一起举行记者招待会，宣布日本全面对华作战。
佐尔格想知道德国对这场战争的态度，所以他问大使：“我们德国记者是否应支持近卫？”
大使把刚从柏林发来的电报给他看。电文中提到，由于日本对中国的战争牵制了日本的大部分力量，因而必然不利于进攻苏联。关于德日同盟条约的谈判一事，德国外交部宣称，他们不打算没有报偿而白白奉送礼品，由于两国意见不同，无法结成同盟。
第二天，佐尔格从大使那里知道，现在是日本向德国提出请求了。外相要求德国政府停止向蒋介石政府提供武器，陆相则坚持要德国从南京召回他的军事参谋人员。
经过对来自各个方面的情报进行分析之后，佐尔格给莫斯科发送了一份密电：“日本人企图在其他一些大国中制造假象，似乎他们打算对苏作战。但实际上，近期内日本不可能大规模进攻苏联。”