香山地处珠江入海口，由于江水经年累月的冲积，留下了大片肥沃的土地，当地一般称为“沙”或“沙田”。这一片片广袤荒芜的沙田，便成了内地移民繁衍生息的聚居地。大批从北方迁徙而来的移民，对香山的文化、经济、人口结构都产生了深远的影响。
历史上中山、珠海、澳门等地同属香山，作为一个移民聚居地，香山文化无论在发展进程，还是结构形态上都呈现出多元、融合的鲜明特征。在发展进程上，自南宋绍兴二十年（1152年）香山建县以来，其文化变迁经历了宋元萌芽期、明清积累期、近代成熟期和当代发展期；在结构形态上，它集中体现了岭南文化中粤、闽、客三大民系的文化特征。
古香山于宋代设县，也在宋代得到了初步发展。宋太祖赵匡胤即位之后，除了“杯酒释兵权”之外，为迅速恢复生产，让人民得以休养生息，还下了一道诏令：自唐代及五代以来，各地农民所开垦的荒地和正在耕种的无主之地，一律归现在的耕作者所有。不久之后，他又追加一道诏令：今后农民自己开垦的荒地，官方继续承认其所有权属于开荒者，只纳税，不交租。这两道诏令，为香山岛的开发奠定了基础，随着早期移民的陆续迁入，不仅农业生产焕发出新的生机，还出现了原始的采银、晒盐业。
宋祥兴二年（1279年）正月十三，宋右丞相文天祥被元军押至香山县，元军统帅张弘范逼迫文天祥写信劝降宋军元帅张世杰，对此，文天祥以其不朽的诗篇《过零丁洋》作为回答：
辛苦遭逢起一经，干戈寥落四周星。
山河破碎风飘絮，身世浮沉雨打萍。
惶恐滩头说惶恐，零丁洋里叹零丁。
人生自古谁无死，留取丹心照汗青。
二月初六，元军攻破宋军最后的保垒压山（今新会厓门），宋帅张世杰率兵突围至香山，在海上与元军激战，宋军战船多数沉没。张世杰见大势已去，先把自己的妻儿赶下海，然后背着只有七岁的小皇帝赵昺蹈海殉国。大宋王朝就此终结。
元朝统治者对汉人采取了两项报复措施，一是野蛮杀戮，一是劫掠到北方为奴，以致元代初年香山人口锐减，全县在税册上登记的男丁只剩下了八千四百五十九人。直到二十多年后，元大德八年（1304年），随着中原逃难的移民大量涌入，人口才增至一万一千三百七十九户。由于人口增长，香山西北部的冲积平原“西海十八沙”也得到了相应的开垦，全县农业用地达到了三十一万多亩。
在元朝统治香山的近百年间，民众的反抗一直没有平息过，1282年，香山失陷的第三年，当地就爆发了农民起义；1361年，由李祖二发动的反元起义更是声势浩大，不仅占领了县城，还迫使达鲁花赤（蒙语：县总辖官）朵罗歹败逃到城外莲峰山。这些元兵在山上“筑垒凿堑”，建寨据守，被困长达七年之久，直至元朝灭亡。
在内地，元末的大动乱引发了又一轮由中原走向沿海的大规模移民。孙中山的远祖孙常德，正是随着这股移民大潮从浙江杭州（一说江西宁都）来到广东南雄，使孙氏后人得以在香山等地繁衍发展的。
元末明初，中原各地反元起义风起云涌，兵荒马乱，民不聊生。为避祸乱，孙常德一家人徙居广东南雄珠玑巷，这是中原人南下广东的第一个中转站或集散地，当时汇集了许多新移民。元朝彻底灭亡之后，孙常德受到明朝东莞伯何真的赏识，被聘为西席（私塾教师），于是偕家人迁居东莞。大约在明朝成化年间，孙常德的第五代孙孙礼赞偕孙氏一支又徙居香山，孙常德的后人遂分化为东莞孙氏和香山孙氏。
孙氏先祖的迁徙史，反映了中原人民为改变生存环境、拓展生存空间一步步走向广东沿海的曲折历程。
对于普通百姓来说，移民只是为了寻找新的生活出路；对于一个民族来说，每一次大规模的移民都是被迫重新探索集体发展路径的意外“脱轨”。而这次以南方沿海为最终目的地的移民潮，更是对中国的历史产生了深远的影响。它为即将到来的西方文明提供了一个落脚点和交汇点，并且最终孕育出了全面影响中国近代历史的香山文化。
文化从来就不是自给自足的，只有在与异质文化的互相撞击中，它才会进发出夺目的火花。
十六世纪初期，从内地来到广东沿海的移民，与沿着达伽马开辟的远洋航线，从欧洲来到这里的商人和传教士共同完成了一次“双向运动”。两种完全不同的文明，在香山，在古老中国的南海之滨历史性地相遇了。
澳门街头至今仍然矗立着一尊葡萄牙人的塑像，他就是欧维治，第一个到达中国的欧洲人。
澳门，古称濠镜澳、香山澳、马交等，据推测，澳门半岛有中国人定居，是在南宋灭亡之际。至元初，澳门半岛上的望厦等地已成为流民经常驻足的居民点。明朝以后，在澳门半岛南部的南湾一带，渔民定居日多，他们搭建茅庐草舍，逐渐形成疏落的渔村。
1514年（明正德九年），欧维治奉葡属马六甲总督佐治·德·阿尔布克尔克之命，航抵广东珠江口外的屯门（今香港新界）。尽管中国官员不允许欧维治等人登岸，但他仍然在船上做成了几笔交易，获利颇丰。与官方的拒斥不同，中国商人私下里倒很欢迎葡萄人的到来，对明政府的贸易禁令阳奉阴违。为了纪念这次成功的航行，欧维治避开官方巡查，偷偷溜上屯门竖立了葡萄牙探险家专用的标柱。也许是命运弄人，这块探险家专用的石头标柱日后竟成了欧维治父子的墓碑。先是他的儿子病死在屯门，被欧维治埋在了标柱之下；1521年，欧维治和他的朋友柯罗等人再次航抵屯门，一个多月后即不幸病逝，柯罗将他的遗体也葬在了那块标柱下面。
欧维治于1514年立下的那块石头标柱是一个隐喻，它是一对父子探险家的墓碑，也是欧洲人撬动古老中国那扇沉重之门的第一个支点。在此后的数百年间，他们以贸易、外交、宗教、文化、科技、军事为杠杆，轮番上场，一起用力，终于彻底打通了进入中国大陆的门户，迫使这个“停滞的帝国”渐渐陷入了“三千年未有之变局”。
1517年，葡萄牙特使皮雷斯和船队指挥官德，安特拉德率领八艘远洋帆船抵达屯门。皮雷斯通过东莞县南头镇的官员通知中国当局，他们是葡萄牙（当时中文译名为“佛郎机”）国王曼奴埃尔的使团，要求觐见中国皇帝。东莞地方官向广州当局报告后，久无回音，皮雷斯不堪等待，径自带领三艘帆船溯珠江而上，直达广州。
皮雷斯的帆船在广州靠岸后，又是鸣放礼炮，又是升旗，极力示好，表达敬意。让他没想到的是，这套新奇的西洋礼仪，竟被广州布政使吴廷举视为有意冒犯，险些因此误了皮雷斯的使命。经皮雷斯反复解释，吴廷举才将他们的要求上报给两广总督陈西轩。几天后，陈西轩亲临广州，但鉴于这些“夷人”“不通中国礼俗”，命令他们在清真寺（现广州光孝寺）先好好学习礼仪，然后才有可能觐见中国皇帝。
1518年，葡属马六甲总督增派德·安特拉德的弟弟西蒙·安特拉德率四艘军舰来屯门。
1520年（明正德十五年）1月23日，皮雷斯特使被中国人关门教育了两年多之后，终于获得朝廷恩准，率使团出发前往北京。就在皮雷斯使团抵京不久，西蒙·安特拉德与驻地华人居民发生冲突，破坏了皮雷斯与中国交好的艰辛努力，使中葡两国刚刚建立起来的脆弱关系全面破裂。皮雷斯被逐出京，他的华人翻译被以汉奸罪处死。
皮雷斯访华使团虽然以失败告终，却开启了中西方之间进行官方交往的先例。继皮雷斯的官方使团之后，耶稣会教士沙勿略又成了到中国传播“福音真理”的第一人。
按照利玛窦的说法，沙勿略是在日本感受到中国智慧的影响力之后，才决定来到中国的。“当沙勿略在日本的偶像崇拜者间进行工作时，他注意到每当日本人进行激烈辩论时，他们总是诉之于中国人权威。这很符合以下事实，即在涉及宗教崇拜的问题以及关系到行政方面的事情上，他们也乞灵于中国的智慧。因而他们通常总是声称，如果基督教确实是真正的宗教，那么聪明的中国人肯定会知道它并且接受它。于是沙勿略决心必须尽早地访问中国，使中国人能从迷信中皈依。”
1552年，沙勿略作为教皇的使节，带着传播基督教的希望和给中国皇帝进贡的礼物，抵达距广东海岸约三十海里的上川岛。当时通往中国大陆的每一条道路都被警卫封锁着，沙勿略想尽各种办法，始终未能实现进入中国的心愿。后来染上了疟疾，于同年12月2日在上川岛去世。天主教会称其为历史上“最伟大的传教士”，并于1662年将其封为“圣徒”。
在最初的近四十年间，商人、外交使团和传教士都未能实现登陆中国的梦想。最后，还是葡萄牙舰队司令官苏萨在腐败的明政府官员身上打开了缺口。
1553年，葡萄牙舰队司令官苏萨“托言舟触风涛裂缝，水湿货物，愿借地晾晒”，与广东官员交涉。广东海道副使汪柏收受葡萄牙人贿赂后，允许他们登岸贸易。翌年，苏萨与汪柏进一步达成口头协议，取得了停靠澳门码头进行贸易的权利。从此，葡萄牙人开始大量迁居澳门。
1573年，葡萄牙人开始向明政府交纳澳门地租，每年白银五百两，由香山县负责征收。直到鸦片战争前，澳门是历史上第一个由中国政府行使主权，让葡萄牙租住和经营贸易的地方，它也因此发展成为当时中国对外贸易的最重要口岸。
1582年8月，向中国“正式介绍西方宗教与学术思想的最早、最重要的奠基人”，对中西文化交流产生了历史性影响的耶稣会教士利玛窦抵达澳门。
利玛窦是敏锐的，他初到中国就感受到了元朝的残暴统治对这个国家产生的心理影响——对外国人近乎荒谬的猜忌与隔阂：“自从他们失去整个国土并在鞑靼征服者的枷锁之下服役以来，这一点就对他们来得格外真实……”利玛窦还在“札记”中写道：“人们简直难以置信，他们对于派来向皇上致敬或纳贡或办理别项事务的邻国使节或使臣怀着多么大的疑惧了。虽然中国可能和派遣使节的邻国自古以来就友好相处，但这并不能使来访的贵臣免于在他们国内的行程中被当成俘虏或囚犯一样来对待，并不得在旅途中看任何东西。在他们的全部逗留期间，他们被安排在宫城范围里盖得像牛棚一样的房子里，而且是被锁在里边。全国上下都不得与外国人打交道，除了在特定的时间，特定的地点。”
然而，官方的阻止没有完全遏制住香山民间人士对外交往的愿望，以至于两广总督不得不让人在香山城门上贴出了措辞严厉的布告。
为了进入中国内地，利玛窦等传教士曾多次在香山县城与澳门之间奔波。他曾在香山城门上看到这样一则告示：“据各方严讼，现在澳门犯罪违法之事所在多有，皆系外国人雇用中国舌人所致。此辈舌人教唆洋人，并泄漏我国百姓情况。尤为严重者，现已确悉彼辈竟教唆某些外国教士学习中国语言，研究中国文学。此类教士已要求在省城定居，俾得建立教堂与私宅。兹特公告，此举有害国家，接纳外国人绝非求福之道。上项舌人倘不立即停止所述诸端活动，将严行处死不贷。”
大约也正是由于长期自我封闭、孤陋寡闻，当利玛窦和罗明坚向两广总督陈瑞献上钟表和三棱镜之后，“他的傲慢态度顿时消失了”，立刻转变为殷勤款待，不仅专门派给他们一座宽敞的住所（与环境幽雅的天宁寺相通），还时时派人送去食物和其他东西以示关怀。
直至1610年5月11日在北京去世，利玛窦的足迹遍及澳门、香山、肇庆、韶州、南昌、南京和北京。他第一次将西方的数学、天文、水利等科学知识引入中国；他的世界地图（1600年《山海舆地全图》，1602年《坤舆万国全图》）第一次使中国人开阔了视野，获得了世界眼光，看清了自己在这个星球上所处的真正位置。
相互隔绝了数千年的两种文明，终于伴随着十七世纪的来临在香山、在澳门找到了交集点。1602年圣保禄教堂（大三巴教堂）奠基动工，教堂附设修道院，教授神学、哲学、理学及其他西方科学，堪称远东最早的西式学府。利玛窦、汤若望及我国著名科学家徐光启等都曾在此钻研学术。这里培养出了我国最早的留学生，这里拥有最早的天文观测室、医疗实验室、西式图书馆……
从1514年欧维治在屯门竖立起的石头标柱，到1637年在澳门竣工的圣保禄教堂，经过一百多年的交流与撞击，远道而来的西方文明刚刚让这个专制王朝轮回更替、小农经济周而复始的东方大国看到了近代之门的遥远轮廓。1644年，又一次天崩地裂的农民暴乱，又一次自称主子而视汉人为奴隶的入侵，引发了又一次华夏文明的大倒退。中国，又一次历史性地失去了走上发展捷径，摆脱坎坷歧途的机会……