就读六年一贯的长沙修业小学
1924年在我6岁时，父亲远在广州从军，母亲和祖母为了能让我读正规小学，带上我及二弟由故居回到长沙市内租房居住。当时长沙市有两所较大且有名气的小学，一所是修业小学，教学认真，收费低廉，崇尚俭朴，学生以贫困家庭子女为多，因一般衣着较差，被称为“修业叫化”（长沙人称乞丐为叫化子）。另一所小学的教学质量与修业小学旗鼓相当，教学设施也较好，但收费较高，学生中以较富家庭子女为多，衣着较讲究，因而被称为“××少爷”。经过比较，我母亲为我选择了修业小学，在这里我完成了既学得知识又受到俭朴熏陶的6年小学教育。读一点《西游记》、《封神榜》之类的古典小说也是在小学开始的。
记得刚进入修业小学时，校内有很活跃的学生会组织。我在一二年级时经常被带领参加游行示威，游行时常喊的口号是“打倒帝国主义”“打倒土豪劣绅、贪官污吏”等等，游行时常唱的歌词则是“打倒列强，除军阀，除军阀，国民革命成功，齐欢唱，齐欢唱”。学生会对参加游行很认真，有一次星期日游行，可能我忘了，未去参加，次日星期一学校早操集合时，我和另外几个未去参加游行的小同学，被点名叫到主席台上，由学生会负责人对我们厉声申斥并用竹板责打手心。作为低年级的小学生，旷课可以不受罚，缺席游行却是要当众责罚受辱。这在我幼小的心灵中，留下永久难忘的深深烙印：这种用强制手段让七八岁的小学生上街游行的做法，实际社会影响并不好，也反映了当时基层革命领导者政治上不成熟与欠缺群众工作经验，难免招致挫折。1928年国共分裂后，记得一天早晨听到住宅附近有枪声，出门上学时，看到街上有好几具身着工人纠察队服装的尸体，这就是国民党军阀许克祥发动的、后来被称为“马日事变”的反共暴行。从那以后，以前在长沙相当活跃的工会与学生会都被解散和停止了活动，一些群众游行活动也消失了。回忆起来，当时的工会、学生会和农村中的农会，显然都是在中国共产党领导下相当活跃的群众组织。由于工人纠察队是当时中共领导的城市群众组织中唯一有武装的力量，但人数不多力量不强，却独立抓捕当时的某些豪绅与社会名流进行拘留或戴高帽游行等活动，当然成了当时实际掌握政权的军阀的首要清除对象。此后，小学中的少数原来活跃的老师和同学（多为高年级的学生会负责人）也不知去向，他们可能被迫逃亡或转入地下。当时因年龄太小，并不懂得政治斗争的残酷。我的小学生活是在一个相对激烈动荡的时代度过的。
小学时期的家庭情况
小学时期我的家庭成员中，年仅50多岁的祖母，由于早年丧夫、又需拉扯一子一女（父亲有一妹妹），过度忧伤辛劳而显得极度衰老。她对我这个长孙十分疼爱，夏日常为我挥扇祛暑，也偷偷给我零花钱，供买零食和买我喜爱的《三国演义》、《水浒传》、《西游记》等读物，对我父母偶有责难则诸多庇护，她是我难忘的幼年保护神。母亲张德卿是位虽仅有初中文化水平，却是位极为豁达干练的贤妻良母，勤俭持家，并极关心子女的品学教育，督教严格，犯过必责，我深爱畏。父亲还有一位侧室杜氏。父亲余泽钱（字希彭）是毕业于保定军官学校第四期的军人，幼年接触较少，我在小学一二年级时，父亲在广州参加国民革命军，因患重病，母亲由长沙专程前往照料一年多，期间，我随祖母及杜氏和两个弟弟留住长沙。大约在我三年级的暑期，由广州出发北伐的国民革命军攻入长沙，其先锋部队，一个教导团的团部，曾临时驻扎在我们正在假期的修业小学校内，团长就是我父亲。记得当时学校门外头贴了一张北阀军某师的安民告示，署名师长李某，副师长竟是我的父亲的大名，这使我初次感到父亲是一个不小的军官。我曾问过母亲为什么父亲要当军人，据母亲了解，父亲原本想进高等职业学校学工程技术，但因祖父早逝，祖母无力承担学习费用，不得不改进学习与生活费用完全由政府负担的保定军官学校（张治中、白崇禧、刘建绪、徐庭瑶等这些国民政府高级将领都是他保定军校的同班）。北伐军进入长沙后不久，我父亲被调任国民革命军第14军参谋长，该军军长陈嘉佑在1928年左右由于蒋介石反共分裂革命队伍，与李济深等坚决反对，被迫去职并流亡香港，我父亲也因此脱离军职，但未去香港，仍留住长沙，潜心书画。这期间，家庭还增加了比我小四岁及五岁的两个弟弟，比我小十岁和十一岁的两个妹妹。