“每个人的童年未必都像童话，但是至少该像是童年”。
余光中的童年，虽然不像童话那样充满神奇幻想的色彩，但也有过美好的记忆。后来他把阅读和回顾童年生活当作一种乐趣时，发现童年是舅舅手上的风筝，小狗和蟋蟀，用石片漂水花，还有垂柳依依的江南，表妹很多的江南。他曾在一首题为《春天，遂想起》中，这样歌咏江南：
春天，遂想起
江南，唐诗里的江南，九岁时
采桑叶于其中，捉蜻蜓于其中
（可以从基隆港回去的）
江南
小杜的江南
苏小小的江南
遂想起多莲的湖，多菱的湖
多螃蟹的湖，多湖的江南
……
春天，遂想起遍地垂柳
的江南，想起
太湖滨一渔港，想起
那么多的表妹，走过柳堤
……
复活节，不复活的是我的母亲
一个江南小女孩变成的母亲
清明节，母亲在喊我，在圆通寺
喊我，在海峡这边
喊我，在海峡那边
喊，在江南，在江南
多寺的江南，多亭的
江南，多风筝的
江南啊，钟声里
的江南
（站在基隆港，想——想
想回也回不去的）
多燕子的江南
由于童年大半在柳绿花红、莺声燕语的江南水乡度过，因而余光中自称是半个江南人。
余光中其实并不是江南人，准确的说法应该是闽南人。在他六岁那年，父母曾带他回老家：群山环抱里的永春县桃城镇洋上村。余氏祖籍福建永春，由于父亲余超英在国民政府海外部做侨务工作，余光中便出生在南京，那是1928年重阳节，“这是个诗和酒的日子，菊花的日子，茱萸的日子”。重九节那天，江苏武进人孙秀君挺着大肚子随家人一起登高，第二天便生下了余光中。
余光中对陶令赏菊、孟嘉落帽的重阳节情有独钟。他怎么也不会忘记“遥知兄弟登高处，遍插茱萸少一人”、“明年此会知谁健，醉把茱萸仔细看”这些佳句，同样不会忘记与重阳节有关的动人传说。梁朝人吴均在小说《续齐谐记》中写道：“汝南桓景随费长房游学累年，长房谓曰：‘九月九日，汝家中当有灾。宜急去，令家人各作绛囊，盛茱萸以系臂，登高饮菊花酒，此祸可除。’景如言，齐家登山。夕还，见鸡犬牛羊一时暴死。长房闻之曰：‘此可代也。’今世人九日登高饮酒，妇人带茱萸囊，盖始于此。”
台湾出版的傅孟丽所著的《余光中传》，正标题用的就是“茱萸的孩子”。余光中在七十寿辰时，解释重阳节对他的意义提到“重九之为清秋佳节，含有辟邪避难的象征。然则茱萸佩囊，菊酒登高，也无非象征的意思。诗能浩然，自可辟邪，能超然，自可避难。茱萸的孩子说，这便是我的菊酒登高。”
茱萸的隐喻，笼罩着余光中一生。他说：“每年到了重九，都不由我不想起这美丽而哀愁的传说，更不敢忘记，母难日正是我的民族灵魂深处惴惴不安的逃难日。”把母难日与民族的苦难联系起来，这正是余光中的过人之处。在三十四岁生日那一天，他写下这样的诗句：
不饮菊花，不佩茱萸，母亲
你不曾给我兄弟
分我的哀恸和记忆，母亲
不必登高，中年的我，即使能作
赤子的第一声啼
你在更高处可能谛听？
永不忘记，这是你流血的日子
你在血管中呼我
你输血，你给我血型
你置我于此，灾厄正开始
未来的大劫
非鸡犬能代替，我非恒景
孙秀君经常带小光中返回常州漕桥，去看亲戚朋友。舅舅家人丁兴旺，近房再加远房的表兄弟姐妹凑在一起，竟有三、四十人之众。他们均对远来的客人分外尊敬。那些表姐妹们更喜欢浓眉大眼留着平头的小光中。当她们得知小光中有绘画的天分时，都请求这个表兄弟为她们画马，到春节来临时则请他画门神之类。
余光中小时候并不是一位安分守己的乖男孩。据他的一位表姐回忆：有一次，余光中和几位表兄弟模仿武侠小说中的故事情节玩游戏，在没有道具的情况下，调皮的余光中竟把孙秀君的一件皮大衣狐皮做的领子剪下来捆在头上，看起来像神气活现的山大王。玩伴们哈哈大笑，母亲看到自己的衣服被破坏，气愤得要打自己心爱的儿子，表姐们连忙出来保护，把小光中藏在房间里面，等他母亲气消时，才让其恢复“自由”。
在又温柔又漂亮的众多表姐妹面前，小光中显得一枝独秀。余家和孙家的长辈均希望余光中长大后能找个表妹同结秦晋之好。后来，余光中的配偶果然是一位表妹，只不过不是当年的那一群中的一员罢了。
余光中曾有一位同父异母的哥哥余光亚，在最好的青春年华病故。后来，孙秀君再没有生育。由于余家人丁不旺，小光中没有兄弟姐妹做伴，故儿时的生活比较沉闷。好在舅父家人多热闹，且有一定的文化品位，便弥补了这一不足。
就在余光中三岁的时候，即1931年，日本军国主义者制造了“九一八”事变，发动了侵华战争，占领了东北。1937年12月13日，举着太阳旗的日军占领南京，此后大开杀戒，实行抢光、烧光、杀光的“三光”政策，受难者达三十多万人，酿成震惊中外的南京大屠杀事件。幸好余超英已随中央政府撤至江城武汉。在这之前，孙秀君念念不忘风景秀丽的常州，带着余光中到那里小住，才躲过了这一劫。
大概是吹了过多的腥风血雨的缘故，余光中这时得了重感冒，说几句话就伴随着一阵阵的咳嗽声。后来常州也不安全，孙秀君只好把九岁的小光中装在箩筐里挑着，开始了逃亡生活。正当孙家一行人在江苏、安徽一带东躲西藏时，突然在高淳县与日军狭路相逢，孙家无奈之下只好躲进佛寺内。冤家路窄，日军后来也在此安营扎寨，孙秀君只好抱着小光中连忙钻进佛像的香案下藏起来。虽然躲在暗处，但眼睛总不能老闭着，只要一抬头便可看到鬼影拂拂，穿着大皮靴的日本兵在眼前晃来晃去，喊声骂声还有马蹄声吵得人无法安睡。朦胧中只见日本兵直奔香案而来，以为是抓他们来了。原来是虚惊一场：日兵在向佛爷行礼。可这些慈善动作丝毫掩盖不了他们屠杀生灵的罪行。
在这样恐怖的气氛中过日子，时间过得很慢，真是苦海难熬。有一位表姐妹，由于白天受惊吓，到晚上便做噩梦，梦中还喊着救命。这下可把守夜的日军惊动了，但他们只是例行公事看了一下，没有深究，有惊无险。
后来日军接到上级命令西进，便离开了古刹。余光中回忆起那个恐怖的夜晚，至今仍历历在目。从恶梦中醒过来的孙秀君，带着儿子到太湖附近藏了好几个月，最后乘麦船去苏州，再由苏州经过曲折的道路抵达上海。这时，初尝亡国奴滋味的余光中，在其幼小的心灵中种下了仇恨的种子。短短几天的逃难，使他看到了诗情画意的江南被蹂躏，放眼所见满地是难民和旷野中的死尸，这更加速了他的早熟。他在一篇散文中记下了当年仓惶逃难的经历：
在太阳旗的阴影下咳嗽的孩子，咳嗽，而且营养不良。南京大屠城的日子，樱花武士的军刀，把诗的江南词的江南砍成血腥的屠场。记忆里，他的幼年很少玩具。只记得，随母亲逃亡，在高淳，被日军的先遣部队追上。佛寺大殿的香案下，母子相倚无寐，枪声和哭声中，挨过最长的一夜和一个上午，直到殿前，太阳徽的骑兵队从古刹中挥旗前进。到现在他仍清晰记得，火光中，凹凸分明，阴影森森，庄严中透出狞怒的佛像。火光抖动，每次都牵动眉间和鼻沟的黑影，于是他的下颚向母亲臂间陷得更深。其后几个月，一直和占领军捉迷藏，回溯来时的路，向上海，记不清走过多少阡陌，越过多少公路，只记得太湖里沉过船，在苏州发高烧，劫后和桥的街上，踩满地的瓦砾，尸体，和死寂得狗都不叫的月光。
在另一篇散文中又说：
舟沉太湖，母与子抱宝丹桥楚始免于溺死，然后是上海的法租界。然后是香港海上的新年。滇越路的火车上，览富良江岸的桃花。高亢的昆明。险峻的山路。母子颠簸成两只黄鱼。
然后是海棠溪的渡船，重庆的团圆。月圆时的空袭，迫人疏散。于是六年的中学生活开始，草鞋磨穿，在悦来场的青石板路。令人涕下的抗战歌谣。令人近视的教科书和油灯。桐油灯下的昏焰下，背新诵的古文，向鬓犹未斑的父亲，向扎鞋底的母亲，伴着瓦上急骤的秋雨急骤的灌肥巴山的秋池……
这里有家愁，有国恨，对灾难岁月的回忆就像从眼前伸展到天际的铁轨一样长。
正因为余光中经历过抗战的灾难岁月，尝过当亡国奴的滋味，所以他对抗战文学特别有兴趣。他认为，台湾文坛阴柔已久，诗情日深，民族大义的阳刚之声几成绝响。小说家们应接受抗战文学的挑战，去写南京大屠杀、重庆大轰炸，去再现以长城为墙的大壁画，以长江为弦的大悲歌，为一整个民族的八年噩梦，勾出难忘的轮廓。
在人生地不熟的上海，孙秀君唯一的亲友是丈夫的老师宋渊源。宋氏后来不再教书，从教坛走向政坛，担任国民政府委员。他热情地接待投奔自己的孙氏母子，并作了周到的安排。
这是法租界，比外面安全得多。在中国的国土上，中国人居然要靠外国人去保护，这自然是莫大的讽刺，但这是日本人进攻中国的岁月，不这样做就无法安身，因而孙秀君也就顾不上这么多了。
颠沛流离的逃亡生活告一段落后，孙秀君想和丈夫联系，可在“烽火连三月，家书抵万金”的年代，这不是容易办到的事，因而孙秀君只好把小光中先送进小学学习。孙氏原先学的是师范，她深知如果孩子失学，将意味着什么。
灯红酒绿的上海，比南京显得更洋气，因而余光中对上海最深的印象是这里西化之风劲吹。正因为西化，所以英语在十里洋场的上海很吃得开，因而余光中刚上四年级，课表上就出现了英语。头一次看到外国文字，余光中觉得像五线谱那样生动，那样好玩。为了使半路插班的儿子的学习不致滞后，孙秀君从字母教起，26个字一个个教余光中。金陵大学外文系出身的英文老师孙良骥，也整整教了余光中六年。少年余光中从发音、文法到修辞，都得益于他。到了高二，余光中已能自学像兰姆的《莎氏乐府本事》这样的英文原版书。就这样，天生好奇的余光中，对这些豆芽般的文字越学劲越大，这便为他后来入外文系打下了初步的基础。
尽管宋渊源对孙氏母子照顾得很好，但寄人篱下毕竟不是长远之计。历经漫长的等待，孙秀君终于有了丈夫的信息：1939年初，余超英从重庆发信要他们母子俩马上动身，以便全家团聚，并告诉她走陆路太辛苦，说不定还会碰上车匪路霸，改走小路就要安全多了。这样一来，要绕很大的圈子：从香港到越南，再到昆明、贵阳，最后才抵达重庆，但这样做毕竟没有危险。
绕道虽然时间花费了很多，但对年幼的余光中来说，也有好处，甚至可以说是求之不得：
一来途经香港时可以开拓眼界，尤其是坐海船，可以一路欣赏蔚蓝色的波涛；二来从越南到昆明，可以坐火车。后来少坐火车多坐飞机的余光中，对这生平第一次坐火车的感受终身难忘：“坐火车的最早记忆是在十岁……滇越铁路与富良江平行，依着横断山脉蹲踞的余势，江水滚滚向南，车轮铿铿向北。也不知越过多少桥，穿过多少山洞。我靠在窗口，看了几百里的桃花映水，直把人看得眼红、眼花。”“后来远去外国，越洋过海，坐的却常是飞机，而非火车。飞机虽可想成庄子的逍遥之游，列子的御风之旅，但是出没云间，游行虚碧，变化不多，机窗也太狭小，久之并不耐看。哪像火车的长途，催眠的节奏，多变的风景，从阔窗里看出去，又像是在人间，又像驶出了世外。所以在国外旅行，凡铿铿的双轨能到之处，我总是站在月台——名副其实的‘长亭’——上面，等那阳刚之美的火车轰轰隆隆其势不断地踹进站来，来载我去远方。”
1974年8月，余光中到香港中文大学教书，从投稿的“新秀”变为替人写序的“前辈”。
这位由乌丝到白发的教授，他的一个重要的交通工具变为从不担心堵车之苦的电气火车。可余光中觉得现代化的火车仍无法取代童年时乘坐的旧式火车的韵味。他在《火车怀古》中云：
我却更怀念古老的车头
火性子那一尊黑彪彪的悍兽
总是气冲冲犁着地来，锄着地去
顽硕的阴影压歪了大半个月台
吐不尽满腔满膛的浓烟
旧世界的旷野我怀念
它奔时铁蹄重重地踹踏
铮纵的筋骨错磨有声
加速成金属刚烈的拍子
把铿锵拍成慷慨的调子
风来时更扬起狂放的长发
黑飘飘一直拂到腰际
最难忘是出站的时候
车上和站上依依的挥手
要不是它仰天长啸那一声悲怆
一出离情怎会到高潮？
火车的记忆，据《火中龙吟：余光中评传》作者徐学的“考证”，这对余光中是一种触媒，“正是这种童年的快感，使余光中有了旅行的观念，也早早对地图产生了一般儿童无法企及的兴趣。更重要的是，大约就是从那时起，旅游成为他生命中的一个兴奋点，而速度成为了他生命中的一种不可抑制的律动。后来，他一系列脍炙人口的诗文，如《咦呵西部》、《登楼赋》、《逍遥游》、《西螺大桥》、《敲打乐》、《高速的联想》都回荡着高速铿锵的律动。
再后来，在台湾疾驶的火车中，未来的诗人侯吉谅读了余光中《高速的联想》觉得‘意外的惊喜’，他把这感受写信告诉远在香港的余光中，触动了这位五十岁的教授心中永不衰竭的敲打乐，灵感大发，写下《超马》一诗，赠一切喜欢高速的摩托车骑士。