起码在明朝以前，古代中国强大，日本没有试图挑战天朝的力量。中国大陆上的历朝历代朝贡日本，但是各种民族政权也试图征服日本，但是都以失败而告终。
有史家称，3000多年前，周成王就入侵过日本，当然这难有依据。
隋朝时，一共来过四拨日本使团。到了唐朝，日本一共往中国派遣了19批“遣唐使”，其中实际成行16次。使团的规模往往很庞大，少则百余人，多则五六百人。
唐朝牛肃在其所著的志怪笔记《纪闻》中记载，李邕主政海州，即现在的江苏沿海城市连云港，当时来了一伙日本使团，成员达五百人之多，携带有大批本国的珍宝，要西去长安觐见大唐皇帝。李邕却心生歹念，将船上的珍宝全部运下来，随后将那十条大船搞沉，并派五百名水手杀死五百名日本使者。当然，谋财害命、破坏唐日关系的海州市长李邕阴谋败露，被朝廷处以极刑。
唐朝时期，日本大化改新受到阻挠，就冒险干预唐朝属国高丽，转嫁危机。663年，唐高宗因病不理朝政，皇后武则天发兵朝鲜。8月，白江口一战，日军四战四败，被歼十多万人，“焚舟四百艘，烟焰张天，海天皆赤”。日本一片恐慌，急筑四道防线，都城从飞鸟迁至近江大津，失去了与唐朝分庭抗礼的实力和念头。
10世纪后半期，这时已是唐王朝的末期，由于内部动荡，文化衰退，日本废止遣唐使。唐朝于公元907年灭亡，之后经历了五代的内乱后重新统一为宋。
日本和宋朝虽没有正式的邦交，但商船来往非常频繁。中国东北部的渤海国自奈良时代以来一直同日本保持亲密关系，公元926年为辽所灭。
公元1019年（日本宽仁3年），北宋时期，建立金国的女真人突然入侵日本，即“刀伊入寇”。这是日本本土历史上第一次受到来自大陆的大规模的武力入侵。
韩国画：抗击女真族的金军入侵朝鲜半岛
1019年3月28日，由五十余艘战船组成的女真船队以迅雷不及掩耳之势突袭日本对马岛，进而快速攻占了对马、壹岐两岛，并将岛上居民全部杀光。4月，女真军由筑前丝岛登陆，每攻下一地，大肆掠夺烧杀，处死老人和儿童，精壮年充作奴隶。
给幕府的报告称：“贼（女真军）耀刃奔腾，次带弓矢，负盾者七、八十人许，相从如此，一二十队，登山绝野。”。《小右记》记载：“贼合战每人持盾，前阵者持鉾，次阵持大刀，再次阵弓箭者，箭长一尺余许，射力大猛。各人手持盾，最前列鉾队，最后列弓矢队，一阵约计二十队编成。”
日本地方豪族多次迎击侵入的女真军，最后女真军军心涣散，无力再战，遂自海路败退，太宰府军乘胜驾船三十余艘追击，持续不到一月的震动日本朝野的“刀伊入寇”事件始结束。后来高丽海军在海上击败了这支女真舰队，送回被掳日人259名。
日本通过审问俘虏才知道来犯者不是高丽军，而是叫做刀伊的异族。实际上刀伊来源于朝鲜语的音译，指的是我国东北的女真族。
成吉思汗西征打到多瑙河，忽必烈也东侵过日本，都比日本打到中国本土要早。而今汉族仍把他们当作民族英雄歌颂不已，引以为豪，只是遗憾没有灭掉日本。而当称元朝是侵略者时，有汉族人脸一红，辩解那是蒙古人，同汉族无关。岂不知蒙古人的元朝也是中国。何况，东征日本的元军中汉族达10多万人之多，而蒙古人、高丽人仅为7.5万人。
13世纪初，成吉思汉的孙子忽必烈建立元朝，征服高丽。忽必烈对日本多次强制要求进贡，遭到当时日本执政北条时宗的拒绝。于是元军和高丽联军于1274年（文永11年）首先侵犯对马和壹歧，后又大举在九州北部的博多湾登陆。幕府向九州地方的御家人下达了动员令，抵抗蒙古军的入侵。
当时日本的战法是骑在马上的武士一个一个地出战，而元军是采取集团战法，而且武器较精锐，元军在日本本土上，也是杀人放火，抢夺财物，且使用化学武器——毒箭，难免不发生极端行为，戕害生灵，殃及无辜。日本下至14岁少年，上至84岁老人也抗击元朝侵略者，加上遇到台风，元军遭受巨大的损失，终于撤退回去。这称为“文永之役”。
日本画：元军入侵日本遭遇抵抗
以后，元灭了南宋，企图乘势再次征服日本，派出了使团发威，但被斩首，日本无疑表示了坚决抵抗的决心。
1281年（弘安4年），元军分兵两路，东路军从朝鲜半岛出发，江南军从长江出发，共14万大军分乘4400艘船进迫日本博多湾。这次日本军学习了元军的战法，并在博多湾筑石垒，还乘上小船袭击元军大船，拼死抵抗，阻止了元军登陆。这次元军又因台风遭受巨大损失，几乎全军覆灭，最后败退。这称为“弘安之役”，连同“永安之役”，称为元寇或蒙古来袭。
元末明初，日本商人开始加强与中国贸易，在贸易不顺利时往往变成海盗，骚扰中国和朝鲜的沿海地区，中国和朝鲜称之为倭寇。
1368年，明王朝的朱元璋把建立元朝的蒙古人赶到北方，从第二年开始，曾数次向日本派出使者，敦促日本朝贡，要求禁止和镇压倭寇，否则就不客气。日本怀良亲王驳斥道：“盖天下者，乃天下人之天下，非一人之天下也”，给持“华夷之辨”、“万邦来朝”观念，刚刚推翻元朝就不知天高地厚的明朝当头一棒。
据悉当时日本试图阴谋颠覆明朝，明朝以“通日本”之罪诛杀文臣武将多人。但明朝对日本没有起码的警觉，把都城从南京迁往北京，积极防御蒙古，长达300年修筑长城，埋下屡败于西方列强和日本的伏笔。长城纵然巍峨，却没能保住明朝江山。
1401年（应永8年），日本禁止倭寇，同时向明朝派出使者，建立了邦交。
郑成功父亲郑芝龙是海盗出身，母亲为日本人，叫做田川氏。明绍宗赐姓朱，并封忠孝伯，这也就是他俗称“国姓爷”的由来。1646年，清军攻克福建，在清大学士洪承畴的招抚下，郑成功的父亲认为明朝气数已尽，不顾郑成功的反对，只身北上向清朝朝廷投降。郑成功哭谏不听，起兵抗清北伐，震动东南。清军在这时掠劫郑家，郑成功的母亲田川氏为免受辱于清兵，切腹自尽。
1662年，郑成功率军三万余人，把荷兰侵略者从中国宝岛台湾赶走，实现了收复台湾和开发台湾的远大抱负。