由于此后中国共产党在东北的各级组织都开始忙于整顿和恢复组织工作，而且东北的抗日运动逐渐进入了一个低潮期，因此，关东军放弃了“速战速决”的计划，提出要采取长期作战的方法，来消灭东北的抗日运动。
1936年4月，关东军开始采取“持久思想对策计划”。关东军向关东军宪兵队及日伪警务机关提出：
“重点是镇压在满共产党，灭绝其根源。”
关东军宪兵队司令官东条英机又做出指示，共产党在屡次逮捕镇压的情况下，尚能坚持隐蔽活动，其潜伏的共产党员和武装团体的联络方法、手段远远超过于日满警务机关的侦察手段。对此，各地警宪机关不仅要根据各自的特殊情况认真努力钻研，制订出合适于本地区的工作方法，而且在中央警务统制委员会内部，也要加以认真研究。要提高担当此工作的思想警察的修养，并要对他们开展教育。
而日本关东军对东北人民反抗的血腥镇压更是一日也未停止过。1933年以后，日本帝国主义完成了对热河地区的武装占领，转而对抗日武装力量开始了更大规模的武力围剿。他们的口号是推行“满洲国内治安第一主义”，即把殖民统治的主要力量放到这方面来。自1933年初，日伪军就在临江、通化、集安、桓仁、柳河、兴京等所谓东边道地区和岫岩、庄河、凤凰城“三角地带”，反复进行清剿扫荡。参加这一行动的日伪军达30000多人。
据满洲治安部编印的《满洲国警察史》记载，至1933年3月底，就屠杀了抗日武装人员8720多人。
1936年，关东军参谋部炮制了《治安肃正三年计划大纲》，企图在三年之内消灭一切抗日力量。这一计划是以中国共产党领导的抗日联军为主要目标，并且首先在抗联活跃地区东边道一带付诸实施。总兵力达16000多人，讨伐部队与当地日伪军警配合，不断进行扫荡，使当地居民遭到了极大的痛苦。
1936年7月，柳河县大荒沟的日本守备队到白家堡子及横虎头进行“讨伐”，途中被抗日武装击毙了11人。柳河县大荒沟的日本守备队就去复仇。他们把白家堡子周围50里划为“通匪区”，滥杀无辜百姓，烧掉平民的房屋。这一次屠杀中，当地的无辜居民就死了360多人。日本侵略者可谓穷凶恶极。
1937年，“三江省”成为东北抗日联军第3军至第11军活动的地区，因此日伪军的镇压方向也转向了这里。于是关东军司令官植山谦吉、关东军参谋长东条英机一起制订了大规模的讨伐计划。他们纠集的军队、警察、宪兵共计30000余人。随着讨伐计划的升级，日本关东军的“三光政策”执行得越来越彻底。他们每到一个地方，对当地的百姓就“杀光、烧光、抢光”，这种暴行使抗日联军失去了群众有力的支持，陷入了困境，并且遭到很大的损失。
日本帝国主义为了使广大人民群众同抗日武装力量之间失去联系，还实行了保甲连坐制度和“匪民分离工作”，大搞归屯并户，制造“集团部落”，并最终形成大量的无人区，以实现其孤立抗日武装力量和封锁围困的目的。1936年建立了3260个“集团部落”，1938年更是多达12560多个。他们逼迫老百姓离开他们居住的家园，抛弃土地，搬迁到指定的“部落”之中。而原来的村落则变成了无人区。
日军建立的这些“部落”，每一个大概容纳三五十户或者百户群众。而“部落”内的“户”也是由日伪军政权分配的。每个人出入都要挂号登记，种地也不准离“部落”太远，致使东北地区一方面土地大片荒芜、无人耕种，一方面粮食不够吃，很多人都被迫以树皮草根充饥。
日本帝国主义在中国东北还大量掠夺劳动力。根据日本《满洲国史》一书提供的材料，日本每年要在东北强行征集200万到300万劳工，用于开矿、伐木和修建军事工业措施。日本人将劳工装上闷罐车，锁上大铁门。劳工在运输途中就只能在闷罐车内大小便、吃饭和睡觉。到了换车的地方，一停就是两三天，这样经常要走十天半个月。很多被运输的劳工在运输的途中就已死去。中国的劳工即使能活着到达终点，也过着十分悲惨的生活。他们住着工棚，吃着糠菜和棒子面，做的却是十分繁重的体力劳动。日本帝国主义就利用中国的这些劳动力，每年从东北掠夺数千万吨的煤炭、石油和大量的木材等战略物资和重要经济物资，来支持日本帝国主义进行的侵略战争。
第一次世界大战爆发时，日本帝国大学医学院的毕业生石井四郎开始关注战争中的很多细节问题，并且认为战地的医疗工作十分重要。后来他注意到毒气战，他知道这种战法的使用要进行长期的试验和研究，而医学将在其中发挥很大的作用。他觉得自己终于找到了用武之地。他一直想把医学与军事进攻结合起来，又产生了用细菌作武器的恶毒想法，并且从研究试验到用于作战，都做了详尽的计划。
石井四郎认为，日本是一个缺少制造武器的资源的国家，所以日本务必要寻求新式武器。钢铁的武器只能杀伤爆炸点周围的一定数量的人，而细菌武器则具有传染性，可以传染给许多人，杀伤力比炮弹高很多。再有，细菌武器很便宜，不用花很多钱就可以造出来。
早在永田铁山任陆军省第一课课长的时候，石井四郎的计划就得到了永田铁山的赞同与支持。永田铁山还对石井四郎打气道：“像我一样坚决支持你这个想法的人，在陆军内和整个军部中有很大一部分，你尽可以大胆提出你的设计和构思。”
于是，石井四郎就四处奔走游说，说服军界高层，以实施自己的细菌战计划。
陆军省批准了进行细菌战的试验。
永田铁山和东条英机商讨在什么地方进行细菌战的研究与试验。
永田铁山说：“鼠疫、伤寒这些东西可是很可怕的啊，我们一定要谨慎一点，要尽量避免细菌实验给我们自己造成损失。”
东条英机说：“既要谨慎，又要有紧迫感，要抓紧！我觉得有一个地方非常合适，既可以提供便利，又能使我国免受其害。”
永田铁山说：“什么地方？东条君，快讲！”
东条英机说：“满洲。怎么样？永田君。”
永田铁山说：“好！太好了！”
于是，日军进行细菌战研究与试验的地点，就被选定在中国的东北。
1931年“九·一八事变”后不久，日军就在中国东北建立了由关东军领导的细菌战实验所，并由石井四郎主持。
1932年至1933年，石井四郎在黑龙江省肇东县满沟和五常县背阴河进行细菌战研究。
1935年至1936年，日本关东军在东北建立了两支秘密的细菌战部队，一支叫“关东军防疫给水部”，一支叫“关东军兽疫预防部”。
1941年6月，这两支秘密细菌战部队分别改称为“第731部队”和“第100部队”。第731部队由石井四郎主持，第100部队由若松主持。这两支秘密细菌战部队对外总称为关东军第659部队。
在抗日战争期间，日军从事细菌战的部队除第731部队和第100部队以外，还有许多如华北的第1855部队，华中的第1644部队，华南的第8604部队等，这些部队曾多次在中国使用细菌武器，给中国军民造成了巨大的伤亡损失。1940年5月6日，日军在浙江宁波进行了细菌战；1941年夏，日军太田等40余人在湖南常德进行了细菌战；1942年8月，由石井四郎率领，在浙赣地区进行了细菌战。
日军细菌战部队培养的细菌有鼠疫、霍乱、坏疽、炭疽、伤寒、副伤寒等。他们不仅使用动物来进行试验，而且还用活人来做试验。第731部队有庞大的监狱，可关押三四百人，这些人都是被日军用来做活人试验的，大部分是战俘，也有中国平民，还有苏联人、蒙古人、朝鲜人。据不完全统计，仅第731部队对中国人进行的活体解剖，就超过了3000例！
日军细菌部队用作试验的建筑和设备应有尽有，他们为了掩盖其罪恶，把为他们建造细菌工厂的3000多名中国劳工全部秘密杀害。