即使发展到中晚唐时期，广州地区的民居建筑相比于中原地区也是很落后的。由于地处亚热带，木质材料价廉而且易于取得，成为当时主要的建筑材料。加上当时民居密集而且无序，其后果是火患连连。只有改竹木材质为陶砖瓦，并规划道路坊巷，拉开建筑物的距离才能减少火灾，唐代多任广州最高地方长官都十分重视这项工作，在《新唐书》中就发现以下三例，它们时间上先后相差近百年，可见广州城坊改造任务之难和进展之缓慢。《新唐书·宋璟列传》：“开元初，（宋璟）徙广州都督。广人以竹茅茨屋，多火。璟教之陶瓦筑堵，列邸肆，越俗始知栋宇利而无患灾”。这说明到唐玄宗开元初年（713年），广州居民方开始用陶质砖瓦建房，并形成有序的街巷。进一步的改造见《新唐书·杜佑列传》，“（兴元元年，784年，杜佑）迁岭南节度使。佑为开大衢，疏析廛闬，以息火灾。”“开大衢，疏析廛闬”意即开辟大路，并拉开房屋之间的距离，以减少火灾。再到唐宪宗元和三年（808年），杨于陵“为岭南节度使。教民陶瓦易蒲屋，以绝火患”。说明从开元初到元和三年这近百年间，广州城外的民居和商业区，建筑技术和坊巷规划是在缓慢地进步的。考其原因，皆由广州城周边地质是丘陵而不是冲积平原，丘陵之间为通海的河道或溪流，随岁月的推移，淤积出丘陵间的平地及河滩，因此土质中含砂石、螺蚌壳等不易烧结物质，致有“土疏恶不可筑（城）”的成见，其关键是烧不出高质量的砌城砖。当时砖窑应在有黏土材料的佛山、南海一带，造砖和运输成本是相当高而砖的质量又是比较差的，不然难以解释，从开元初杜璟教广人“陶瓦筑堵”140年后，阿拉伯人苏莱曼于公元851年到广州还说广州“市内房屋，大半皆构以木材及竹席，故常有火灾”。记述这么多关于广州城和民居情况，旨在说明一点：在一个历经700年未变的残旧而且面积不大的广州城，而且在建筑技术落后建筑材料匮乏的条件下，信仰伊斯兰教的西亚商人，在广州城外的蕃坊建筑起一座高达36米，约为当时广州城高七至八倍的砌筑精妙、体量巨大的阿拉伯形式的建筑物，郭祥正形容其“疑为神运”的巍峨高塔，我们相信其可能性是十分小的。
为说明怀圣塔建于唐代的可能性较小，再看文献记述。前述的阿拉伯商人苏莱曼于唐宣宗大中五年（851年）来中国之游记，对广州伊斯兰教徒情况记述甚详：“中国商埠为阿拉伯商人麇集者，曰康府（即广州）。其处有伊斯兰教牧师一人，教堂一所。市内房屋，大半皆构以木材及竹席，故常有火灾。外国商船抵埠，官吏取其货物而收藏之，一季之船既全入口，官吏征百分之三十关税后，乃将货交还原主发卖。国王有悦意之货，则以现金及最高购价，付之商人也。”这一段关于广州民居状况及蕃商与蕃货管理制度的记述是很准确的，与我们所引的史实相一致。但值得注意的是，所述的“其处有伊斯兰教牧师一人，教堂一所”，说明当时的怀圣寺规模仍很小，而且亦未提及有怀圣塔这样一座特别突出的有宗教及导航双重作用的西亚式样的建筑物。此外，还有一点值得指出的是，追随“以诗证史”的思路，我们曾在录入量为42862首的《全唐诗库》中，检索曾在广州工作或游历的唐代诗人16名，他们写的咏广州及其风景的诗共约142首，但无一首述及“光塔”、“番塔”或“蕃塔”，以这三者作为“关键词”搜索，亦一无所获。虽然这一点还不足以就此确定，怀圣塔必不在唐时建造，但从诗文献这一角度显示出，怀圣塔在唐时没有记录。在上述142首唐诗中，与前引的郭祥正《广州越王台远眺》情景相类的诗有多首，但偏偏他们就没有看见有一座番塔。
从中晚唐开始，中国陷入长期的动乱之中，于此广州亦未能幸免。特别严重的动乱记录在《旧唐书·代宗本纪》：“广德元年（763年）十二月甲辰，宦官市舶使吕太一逐广南节度使张休，纵下大掠广州”。同在代宗一朝，“大历八年（773年）九月壬午，循州刺史哥舒晃反，杀岭南节度使吕崇贲”。《旧唐书·僖宗本纪》“乾符六年（879年）五月，黃巢陷广州，大掠岭南郡邑”。黄巢以广州为基地，前后盘踞多年，对华南地区造成巨大破坏，侨居的外国商人更成抢掠和杀戮的对象，传说被杀的来自西亚等地区的各族侨民达到12万人之众。从历史上，我们看不出有唐一代那一个时期，具备建造怀圣塔的社会、经济和建筑技术等方面的必要条件。
怀圣塔建在唐后的南汉国可能性同样不大。南汉国虽然在当时相对于中原地区政治上稳定，经济和海外贸易比动乱的晚唐时期有所恢复，但它毕竟是偏安于岭南一隅的地方割据式政权。在这样小的管治范围内，海外贸易不可能如唐代那么兴盛。另一方面，南汉国三世四主除立国的刘龚稍好之外，其余均极度昏庸，奢侈腐败，对蕃商也诸多掠夺和骚扰。我们从《五代史》摘录有关南汉国三世四主的史实，他们的暴虐品格即昭然若揭。“刘陟，即刘龑，梁贞明三年八月，陟乃僭号于广州，国号大汉，伪改元为乾亨。明年，僭行郊礼，赦其境內，及改名岩。陟僭位之后，广聚南海珠玑，西通黔、蜀，得其珍玩，穷奢极侈，娱僭一方。同光三年冬，白龙见于南海，改伪乾亨元年为白龙元年，陟又改名龚，以符龙之瑞也。陟之季年，有梵僧善占算之术，谓陟不利名龚，陟又改名龑。古文无此字，盖妄撰也。陟性虽聪辩，然好行苛虐，至有炮烙、刳剔、截舌、灌鼻之刑，一方之民，若据炉炭。惟厚自奉养，广务华靡，末年起玉堂珠殿，饰以金碧翠羽，岭北行商，或至其国，皆召而示之，夸其壮丽。晋天福七年夏四月，陟以疾卒，凡僭号二十六年，年五十四。庙号高祖。子玢嗣。玢，陟长子也。陟卒，遂袭位，伪号光天。玢性庸昧，僭位之后，大恣荒淫。寻为其弟晟所弒，在位一年，伪谥为殇帝。晟，陟第二子也。玢之立也，多行淫虐，人皆恶之，晟因与其弟伪越王昌等同谋弒玢，自立为帝，改元为广乾。晟率性荒暴，得志之后，专以威刑御下，多诛灭旧臣及其昆仲，数年之间，宗族殆尽。又造生地狱，凡汤鑊、铁床之类，无不备焉。人有小过，咸被其苦。周显德五年秋八月，纵长夜之饮，至是而卒，庙号中宗。鋹，晟长子也。晟卒，乃袭伪位，时年十七，改元为大宝。性庸懦，不能治其国，政事咸委于阉官，复有宫人具冠、预职官、理外事者，由是纲纪大坏。（宋太祖）开宝三年夏，王师始议南征。四年二月五日，王师压广州，尽焚其府库，将赴火而死。既而不能引决，寻为王师所擒，举族迁于京师。皇上赦而不诛，仍赐爵为恩赦侯。陟始自梁贞明三年僭号，历三世四主，至皇朝开宝四年，凡五十五年而亡。”对于这样腐败的南汉地方政权，我们有理由相信，怀圣塔不会建造在南汉国时期。
三、怀圣塔建于北宋熙宁年间具有较充分的根据
从历史上分析，阿拉伯蕃客来华贸易和定居，唐代只是初步发展时期，海外蕃客与中国在政治、经济、文化等方面的联系和互动，无论从深度到广度，从质量到数量，到宋代才得到重大的进展。对比在上一节中论述的唐代在广州海外贸易的各个方面，到北宋时形势大变。唐代时广州海外贸易占全国经济的份额很小，在宋代则成为中央财政收入的一个重要来源，从北宋早期它只占全国财政收入的百分之二，到南宋时最高曾达到百分之二十。在宋代，无论在海外贸易制度或涉外吏治上均有极大的进步，宋皇朝更著意运用各种对官吏和蕃商的激励措施，促进海外贸易的繁荣和发展。唐史中记载的管理制度混乱、宦官专权、地方官吏严重贪黩、华夷矛盾等等现象在宋史中几乎消失。有宋一代，由于中国东南部和广州的长期稳定发展，可以说是阿拉伯商人在华及广州经商前所未有的黄金时期。
（一）在制度建设上，宋代从立国开始，即在广州首设市舶司，“掌蕃货海舶征榷贸易之事，以来远人，通远物”。《宋史·志·互市舶法》中记载，在开宝四年（971年）二月灭南汉国后，宋太祖即于“开宝四年六月，置市舶司于广州，后又于杭、明州置司。凡大食、古逻、阇婆、占城、勃泥、麻逸、三佛齐诸蕃并通货易”。市舶司是国家专门管理海外贸易的机构，它的主要职责是检查进口船舶货物和抽税、榷价收买及进贡进口货物、发放出口和贩运货物凭证、执行有关外贸禁令等工作。广州、杭州、明州等地市舶司有明确的职权和管辖范围，于此《宋史·互市舶法》中有颇详细的叙述。宋太祖赵匡胤在灭南汉国后四个月，即在广州设立中国历史上的首个市舶司，其行动之迅速果断，尽显军人出身的开国之君风范，也说明宋代从立国开始，即把发展海外贸易作为朝廷的重要国策，而且这政策一直延续在有宋一代。
（二）设专官管理市舶事务，且对官吏及蕃商订有奖惩措施以促进海外贸易发展。与唐代市舶使始由帅臣兼任，最后变为宦官专掌从而导致制度缺失、吏治腐败不同，宋代以前朝为殷鉴，很早就开始以专官任市舶使。《宋史·互市舶法》记：“元丰三年，中书言，广州市舶已修定条约，宜选官推行。诏广东以转运使孙迥，广西以陈倩，两浙以副使周直孺，福建以判官王子京，罢广东帅臣兼领”。与唐代的被动等待不同，在北宋太宗早期，朝廷就已直接遣使出国招商，《宋史·太宗本纪》记述，“雍熙中，遣内侍八人赍敕书金帛，分四路招致海南诸蕃”。同时，对招商有功的官员还论功行赏，外商也赐予官职，典型事例如《宋史·食货志·香》记述：“绍兴六年，知泉州连南夫奏请，诸市舶纲首能招诱舶舟、抽解物货、累价及五万贯十万贯者，补官有差。大食蕃客罗辛贩乳香直三十万缗，纲首蔡景芳招诱舶货，收息钱九十八万缗，各补承信郎。闽、广舶务监官抽买乳香每及一百万两，转一官；又招商入蕃兴贩，舟还在罢任后，亦依此推赏”。这些得力措施，自然极大地激发了官吏和蕃商促进海外贸易的积极性。
（三）严明吏治，从制度上保护蕃商。宋代接受唐代由于吏治败坏，挫伤蕃商来华贸易的积极性，导致海外贸易衰退的教训，制定了具体的政策和措施，以严明吏治，从制度上保护蕃商的利益。《宋史·互市舶法》：“崇宁元年，复置杭、明市舶司，官吏如旧额。三年，令蕃商欲往他郡者，从舶司给券，毋杂禁物、奸人。初，广南舶司言，海外蕃商至广州贸易，听其往还居止，而大食诸国商亦丐通入他州及京东贩易，故有是诏。凡海舶欲至福建、两浙贩易者，广南舶司给防船兵仗，如诣诸国法。广南舶司鬻所市物货，取息毋过二分。政和三年，诏如至道之法，凡知州、通判、官吏并舶司、使臣等，毋得市蕃商香药、禁物”。这则记录表明北宋徽宗时容许蕃商转口岸贸易，并派兵员保护，同时限制对蕃货所征税率，禁止官吏插手买卖蕃货。下则记录更说明订有保护蕃商行旅安全和严惩不法官吏的措施，《宋会要》载：“徽宗政和六年（1116年）二月二十二日，诏今后番人入贡，并选差承务郎以上清疆官押伴，依程行，无故不得过一日，因而乞取置买以自盗论，抑勒阻节入贡人者，徒二年，仍令所在军州觉察。先是大食国进奉，差广州司户曹事蔡蒙休押伴，在路住滞，强买使人香药，不还价钱，有旨。蒙休先次勒倚，令提刑司置司推勘，具案闻奏，故有是诏。”另一则为：“时广州市舶亏岁课二十万缗，或以为市易司扰之，故海商不至，令提举司究诘以闻。既而市易务吕邈入舶司阑取蕃商物，诏提举司劾之。”“乾道七年，诏见任官以钱附纲首商旅过蕃买物者有罚，舶至除抽解和买，违法抑买者，许蕃商越诉，计脏罪之。”这则记录说明每年海贸岁货是有定额指标的，达不到会被追究。如属因官吏侵夺蕃商利益而使外商不至，贸易额下降，相关官吏将被查劾，而且容许蕃商越级投诉。下则说明遭遇海难的蕃商可得免税优惠，《宋史·互市舶法》：“乾道三年，诏广南、两浙市舶司所发舟还，因风水不便、船破樯坏者，即不得抽解。”对蕃商遇劫，官方更限期破案，否则降官获罪，如《宋会要》记：“绍兴四年（1134年）七月六日，广南东路提刑司言：‘大食国进奉使人蒲亚里将进贡回赐金钱置大银六百锭及金银器物匹帛，被贼数十人持刃上船，杀死番牧四人，损伤亚里，尽数劫夺金银等前去，已帖广州火急捕捉外，乞施行诏当职巡尉先次特降一官，开具职位、姓名，申枢密院。其盗贼令安抚提刑司智责扑盗，官限一月，须管收获，如限竭不获，仰逐司具名奏闻，重行黜责。’”宋史上记录的这些严明吏治、保护蕃商利益的措施，使宋代的海外贸易得到前所未有的发展，并与唐代的制度缺失、吏治腐败形成鲜明的对比。
（四）广州城建历史的启示。上述唐宋两代海外贸易政策、制度和吏治等方面的对比讨论，清晰地说明了在宋代广州的海外贸易繁荣程度，以及蕃商在广州的社会环境，包括经济和社会地位，华蕃相处的和谐程度，均是远远超越唐代的。如果考察广州的城建历史，它同样展示出从汉代以后，广州城的大发展也是从北宋开始的。由于科学技术，同样包括建筑技术，是有时代性和相关性的。广州城墙的修筑状况基本上反映了当时广州修筑大体量建筑物的技术水平。从建筑技术角度来看，怀圣塔比一般城墙的建筑水平更高，怀圣塔即使其设计者和主要工匠可能来自阿拉伯地区，但其大量的建筑构件和材料必然取自广州本地，因此怀圣塔不可能远远超前于广州的城建水平。考察在北宋时期开始的广州大规模建城的历史，会给我们以启示，怀圣塔在什么时候修建具有较大的可能性。
检索《宋史》可以知道在北宋时期，从宋太宗时的范晔开始，吕居简、魏瓘、张田直至程师孟，广州的历任地方长官均曾修整或扩筑广州城，以保卫因经济迅速发展和人口不断增长而扩展的处于广州官城之外的商业和居住区。《唐坰记略》云：“广于五岭为大府，地控蛮粤，列郡倚以为重。其商船物货之聚，盛比杭、益，而天下莫及，旧有城在州之东，规模迫隘，仅能藩篱官舍及中人数百家，而大贾巨室生齿之繁几千万，皆处其西，无以自庇。”这正说明当时广州进行大规模城建的主因，是要保护经济发展成果，庇护日益繁荣的商业区和大贾巨室，抵御外敌的入侵。其中“广源州蛮”侬智高就是北宋元祐之前相当长一段时期对华南地区的频繁入侵者。