我的大曾祖端本公，是故居的拥有者。经科举进入仕途，共有四个儿子（我的曾祖辈）也都继承父业。至我祖父辈，曾共有嫡堂兄弟13人，姊妹19人，因此时清末国事积弱，备受列强欺凌而被迫废科举、办学堂、兴洋务。我祖父辈因时应变，放弃科举旧学，另创新路。在我童年时，祖父辈中排行第八，诙谐而健谈的范传公谈到他自己的几位兄长情况时曾说：他的一、二两位大兄长都在童稚之年受到惊吓而死，有一位是在一次雷雨中受雷鸣惊吓而死。他认为连雷声都能被吓死，长大了也难有出息，不足为惜。而他的三、四（我的祖父）、五、七几位兄长则多在二十或三十多岁就因痨疾早逝，均未得一展抱负实为可惜。范传公自己则有幸被选派去日本士官学校学习骑兵，成为余家当时仅有的一名军人。他学成后回到北京，逐步被升任为满清宫廷禁卫新军的骑兵队长。在一次由慈禧太后主持的阅兵式中，范传公这个戎装骏马上的英俊骑兵队长竟受到慈禧的欣赏，被特别召见。太后问他是否有“媳妇”，意指他是否有妻室，但长沙人讲媳妇是指儿媳妇，范传公虽然已婚，但无儿媳，因此回答说没有。后来慈禧让人告知，他既无“媳妇”，就准备将一位皇室的格格下嫁给他。这可将他吓坏了，因将有妻室答称无妻室，让太后赐婚实属有罪，而且家庭也难处理，只得千方百计托人向慈禧解释因方言不同而引起的误会，幸而得到谅解作罢。范传公说，如果余家弄回一个格格作媳妇，真不知会出现什么难堪的局面。他的九、十一、十三，三个弟弟及最年幼的十九妹共四人则有幸均去美国留学，分别学习经济、工程、文学与教育，都比他这个学军事的对国家建设有所贡献，而且在家族中树立了重视高等专业教育和独立创业的进取风气。在这种情况下，义学故居的族人都入城就学或工作，仅在特殊情况下，如抗战初期长沙等城市被日机轰炸，而到故居短暂停住。到抗战胜利后，这里几乎没有余家人居住，而主要依靠雇人看守家宅了。
族人纷纷离开家乡私塾，到城市进学校求学。祖父辈中，比较年幼的弟妹中，到国外留学的就有5人。如前所述，祖父的八弟范传公曾去日本士官学校学骑兵，回国后，曾任晚清宫廷侍卫的骑兵队长及国民政府军事参议院参议。九弟啸秋公留学美国专修经济，回国后曾长期担任著名的民营永利化学工业公司主管财务的协理。
十一弟籍传公留美学土木工程，曾长期担任湖南省公路局长和建设厅长等职。抗日战争爆发前，他任南京市工务局长时，有过一段为难而有趣的经历，事情与建造蒋介石官府有关。当时，蒋介石与夫人宋美龄在对于其官府的门框樑柱采用什么颜色喜好不同：一个主张红色，另一个喜爱黄色。夫妻的不一致给当时负责监理该项工程的市工务局长出了难题。深思之后，籍传公决定采用红黄相混的橘红色。这一折衷取色做法，竟使蒋介石和夫人都较满意而渡过难关。
祖父的十三弟楠秋公留学美国专修文史，以后曾长期担任上海复旦大学教授及文学院院长。最小的十九妹惠传留美学习教育，曾任湖南省立长沙女中校长。祖父一代学以致用，开辟了进高校学习专业之风。到我父亲一辈，除从业、从军外，绝大多数毕业于国内大学的理工医文法等专业，少数留学英美。这是一个十分重视教育的家族，成员们几乎都以不能接受高等专业教育、不能离家独立创业进取为耻；在这种情况下，家乡的“义学”故居也就逐渐成为没有余家人居住的余氏故居。
长沙余氏家族除我们原住“义学”的这一支外，还有部分散居在长沙东乡各地的，当时按族中男口统算不足百人。余家在长沙东乡的留嘉冲，建有一座余氏宗祠，其内供奉的始祖本生公，是由江西西迁定居长沙的第一代始祖，也是一位读书人，到我这一辈已是第十二代了，对子孙训教以读书应试科举入仕为主，所以后代读书人多，经科举而宦途通达者也不乏其人，余家在长沙因此小有声名。曾祖的一位堂弟肇康公，曾在光绪十二年中进士，出任过清代的工部主事、两湖提学、山东和江西按察使等职。正是他们这些仕途宦达的子孙，为了光宗耀祖，修建了这所宗祠公产。据长辈讲，祠堂每年都有较隆重的祭祖典礼，外地有专程赶回参祭的。我隐约记得在5岁左右曾随“义学”的两位长辈去祠堂参加一次冬至祭典，有赞礼（司仪），主祭读颂词，齐叩首分献祭礼，鼓乐鞭炮齐鸣，很是隆重。为了鼓励繁衍后代，族人用祠产对家族里每位男童自出生开始至16岁为止，每年发给稻谷两担。鉴于乡间出现个别穷困户有溺杀刚出生女婴的惨事，余家宗祠立下规矩对每位刚出生女婴给予一次性的16担稻谷作为养育费，以后不再逐年派发。这座祠堂房舍相当大，部分房屋一直用来做义务学堂，免费对附近贫困儿童授课，对余氏子女则免费供应食宿，照顾住读。想起来，这个不大的家族颇有一些特色。
幼年时曾听祖辈闲谈时谈到，长沙还有其他余姓氏族，但都与我们这家余姓联不上宗（即从族谱中找不到纵向或横向的先祖联系）。据长辈谈及，原因是我们这一族系原来并不姓余，真正的先人是明代的知名大儒方孝儒。明太祖朱元璋驾崩后，由已故太子之子继位。可是朱元璋的第四子燕王朱棣（即明成祖），在燕都拥有重兵，不满侄儿继承皇位并图谋削藩，起兵攻克南京，夺其侄之皇位。为免“篡夺”之讥，燕王令当时朝中声望最高的大儒方孝儒为其撰写继承皇位的“劝进书”，方誓死不从命，被朱棣诛杀九族。方家仅有一子不在南京，被人冒险匿救，在江西隐姓埋名避过灾难。这一遗孤就是我们的先祖，改姓为余，可能暗寓“劫后余生”和“漏网之鱼”之意。大儒之后，家学渊源，一直保持了对子孙鼓励读书仕进的家庭传统。但在明代根本不敢恢复原姓，年代一久，复姓很难，也就维持了这个无法与其他余姓联宗的姓氏了。方孝儒是被族灭的家庭，这个传说很难找到历史凭证，因而也就成了我们这个余家的原始姓氏之谜，成为我童年的记忆之一。大概比我年轻的族人，都少有机会听到这种故事传说。