古代中国建立了以自己为尊的东亚册封、朝贡和藩属关系。东汉光武帝时，赐封日本国王“汉委奴国王”金印。
三国时，魏吴两国争夺日本朝贡，魏国势力强大，争取了主动。239年，邪马台国女王卑弥呼向魏国都城洛阳派遣使者，贡献奴隶和麻布，魏明帝赐予卑弥呼“亲魏倭王”称号和金印。第二年，魏国向日本派遣使者，这是中国使者最早赴日。随着大化革新的推行，日本逐步谋求大国地位，被唐朝军队在朝鲜半岛海域击败才有所收敛。
几经改朝换代，中国皇帝也是你方唱罢我登场。明太祖朱元璋让日本朝贡，否则就不客气。日本怀良亲王驳斥，“盖天下者，乃天下人之天下，非一人之天下也”，给持“华夷之辨”、“万邦来朝”观念，刚刚推翻元朝的明朝当头一棒。
清朝中前期，要求西方公使如同中国藩属国使臣一样，向清帝行三跪九叩之礼，以至于双方长期以来僵持不下。1873年，清同治帝载淳大婚亲政，日本使节副岛固执己见，率先以三揖之礼在紫光阁觐见，西方各国于是也步日本后尘，由此改变了数千年华夏礼仪“旧制”。甲午海战中，日本大获全胜，一跃成为东亚霸主，并逐渐和西方列强参与瓜分中国。
二战后，日本内政外交追随美国，美国总统尼克松称日本是“谨小慎微的巨人”。1970年，尼克松认定日本为世界五强之一。1972年，尼克松在没有通知日本的情况下突然访华，使日本颇感失落，于是日本也抛开美国，率先和中国建立了外交关系。
日本一直是亚洲开发银行的最大股东，日本人担任行长。日本因为拥有强大的经济实力，大国意识开始膨胀，以日美同盟为核心，从对美从属外交转为多边自主外交，参与世界上经济最发达的西方七国会议，形成“实力联合国”。还提供对外援助，免除穷国债务，积极发挥影响。
中曾根任首相以后，参拜靖国神社，推行“战后政治总决算”和“新国家主义”，日本逐步谋求大国地位。1983年5月，在威廉斯堡七国首脑会议上，日本政治地位显著提高的标志是在合影时，中曾根抢先站在美国总统里根旁边，显示日本作为世界第二经济强国和成为政治大国的意图。同年，日本军费突破GDP的1%。
在这个以利益为标准处理国际事务的世界上，外交关系从来都是冷冰冰的，严肃认真而绝少温情的。日本对华关系远交近攻，由守势转为攻势，由被动转为主动，多次因为民主化、人权等问题用经济手段对中国施压。
1991年，日本政府决定对外援助考虑军费开支和人权问题，矛头直指中国。1994年，首相村山富市为此推迟访华。1995年，日本要求中国停止核试验被拒绝后，大规模冻结对华无偿资金援助。这种对华政策的两重性，决定了日本政府在保持与中国业已形成的良好关系时，又难以在援华上大踏步行动。
二战中中国战胜日本，成为联合国安理会常任理事国，但是台湾当局却长期占据席位。1971年，中华人民共和国恢复合法席位，发挥越来越大的作用，同时采取“韬光养晦”的外交政策，是五大常任理事国中动用否决权最少的国家，而苏联（后为俄罗斯）、美国长期左右联合国事务。
联合国组织结构、规章制度反映了二战后期的国际政治力量，否决权被常任理事国一直把持，不符合多元化、民主化和集体决策的时代趋势，难以发挥更大作用，改革势在必行。
20世纪60年代，日本恐日后中国大陆恢复联合国席位时力量对比不利于自己，就在美国支持下，提出成为常任理事国，并远交近攻，转战外围，寻求国际支持。
日本逐渐从国际舞台的被告席走上主席台前排就座，当选联合国非常任理事国的次数超过德国等其他任何国家，承担联合国会费超过中俄英法四个常任理事国的总和，仅次于美国。日本还多次成为联合国大会主席国，积极表现，要求联合国进行改革。
日本是发达国家，与联合国希望加强发展中国家地位的主要改革目标不很符合，况且《联合国宪章》仍有关于日本和德国的“敌国条款”，加上日本多次参拜靖国神社，不断否认侵略历史，难以同国际社会特别是亚洲邻国取得共识，其承担维护世界和平责任的诚意难以被广泛信任。而日本要实现“常任梦”，必须得到联合国成员国中75%的赞成票，且五个常任理事国中不能有反对票。这个棘手的问题严峻考验中国的外交智慧，中国人要求日本必须对侵略罪行深刻反省，并认为德国更有资格成为常任理事国。但是，历史问题毕竟没有成为普遍的国际标准，德国担任非常任理事国次数远少于日本。
除中国外，五个常任理事国中的四国，联合国前秘书长加利、安南以及蒙古等许多国家都明确支持日本成为常任理事国。有人甚至认为，只要联合国增加一个常任理事国名额，就非日本莫属。换言之，如果日本解决了历史等问题，中国人是否就愿意接受日本成为亚洲第二个常任理事国和中国平起平坐？因为是日本，一切都难意料，一切都炙烤着中国人的神经。2008年5月，胡锦涛主席访问日本，在签订的《中日关于全面推进战略互惠关系联合声明》中表示：“中方表示重视日本在联合国的地位和作用，愿意看到日本在国际事务中发挥更大的建设性作用。”可见中国政府对日本在国际上的地位逐步加以肯定，比此前有很大变化。
即便日本没有成为联合国安理会常任理事国，其政治影响也不可低估。中国能掌控的联合国重要职位每况愈下，连连失手。2003年，联合国机构2000多名国际公务员编制中，中国有52人，日本有112人，日本担任主任以上领导职务的有30多人，覆盖金融、裁军、维和、医疗、粮食、知识产权等领域。多位日本人担任过联合国有关机构的高级官员，如国际法院副院长小田滋，世界难民署高级专员绪方贞子，联合国财务主管高须子，世界卫生组织总干事中岛宏，教科文组织总干事松浦晃一郎、副秘书长兼联大校长明石康，安理会轮值主席大岛贤三和高须幸雄，人数和级别为中国所不及。
1992年，明石康任联合国驻柬临时权力机构主席，不辱使命，艰苦斡旋，组织大选，被誉为解决地区冲突的能手。后任联合国秘书长特使兼联合国驻南斯拉夫维和部队行政长官，拥有军事决定权，还出任斯里兰卡事务特使，而日本也担任斯里兰卡和平进程主席国。
联合国在亚洲设立的唯一机构——联合国大学就位于日本。联合国许多议案创制过程中，日本专家都全程参与，发挥重要作用。有的时候，中国在周边问题上“靠边站”，日本却介入进来。联合国把恢复柬埔寨和平的重任交给日本，认为日本专家是柬问题议案的当然起草人。日本还举行柬埔寨问题会议，战后第一次成为解决国际争端的场所，并采取与美国不同的政策，多次同柬埔寨四方、泰国等东盟国家商量，把中国搁置在一边。只是在碰到“红色高棉”这块硬骨头时，才需要中国斡旋。
朝鲜和中国是鲜血凝成的友好邻邦。2003年8月，在中国发起下，中国、美国、俄罗斯、朝鲜、日本和韩国成立了旨在解决朝鲜半岛核问题的“六方会谈”，这被国际上看做是中国的外交杰作。但是2006年10月，朝鲜不顾中国等国劝阻进行核试验，中国前所未有地使用了“悍然”两字。2009年4月，朝鲜再次发射火箭，宣布退出“六方会谈”，并将按原状恢复已去功能化的核设施，使中国的精心努力化为泡影。中日两国共同协作，继续为解决朝鲜核问题而努力。
1924年，孙中山在日本神户提出“大亚细亚主义”，称日本和中国是兄弟国家，日本不应走霸道，而应走王道，和中国携手力求亚洲兴旺，共创未来。邓小平说：“中日对立，会塌下半边天来。”中共十六大报告提出“与邻为善，以邻为伴”的外交方针。德法不再战，英美不再争，而中日两国立足于东亚，也着眼于和谐世界的建设，避免两败俱伤，而使渔翁得利。1998年，《中日联合宣言》初步定位中日两国未来建立“友好合作伙伴关系”。2008年，中日关系又进一步升级为“战略伙伴关系”。