段宏业曾经在陆军部执法处挂名当了个提调，可是他从来不好好当差，总是三天打渔、两天晒网，平时喜欢在外边花天酒地，吃喝嫖赌。段宏业的妻子是江苏人，姓秦，带着孩子住在公馆里，而段宏业在外面另有小公馆，很长时间难得回一次家。段宏业娶的小老婆都是从妓院里接出来的，他喜新厌旧，没有多长时间就会把姨太太送到济良所去。
对这个不争气的儿子，段祺瑞经常打骂。一次，又为了一些事段祺瑞和段宏业生气，段祺瑞数落儿子，越说越生气，竟然叫勤务兵来，命令暴打一百军棍，任凭儿子和其他人怎么求情也无济于事。最终段宏业被打了一百军棍，段宏业爬不起来了，为此卧床休息了好几个月。但是，棍棒也没有使这位公子哥有什么出息，他仍然不务正业，只是吃喝玩乐的行家。他先后娶了九个老婆，除了造就了一个大家庭，一事无成。
段宏纲是段祺瑞二弟段碧清的长子，在段家同辈中排行老二，自幼随段祺瑞长大。与大哥段宏业不同，段宏纲追随段祺瑞经历了不少的大事。比如1926年在北京鹿钟麟通电宣布段祺瑞的罪状，并动用军队对段府进行包围时，段宏纲就守护在段祺瑞的身边，进行各方疏通等工作。
(二)留洋的二女儿和管家的三女儿
段祺瑞的二女儿段宏彬，生于1902年，成年后与一位曾经留学美国的青年张直宏确立了恋爱关系。一次，二人在国内乘火车旅行，车上一个中国女人吐痰，不小心把痰吐到一个外国男人的皮鞋上，这个外国男人不依不饶，不仅训斥了吐痰的女人，还坚持要她把痰吃下去。此时，张直宏用英语与那个外国男人理论了起来，制止了他的蛮横态度，最后外国男人感到很羞愧。这件事当时在段府上下传得很广，大家都觉得二小姐的未婚夫能够制止外国人羞辱中国人，是个很不错的姑爷。张直宏与段宏彬于1925年11月21日在北京举行了婚礼，当时许多的执政府阁员和政界要人前往祝贺。张直宏、段宏彬夫妇后来长期生活在美国。2002年，百岁老人段宏彬在美国去世。
段家的传统是姑奶奶管家，段祺瑞的三女儿段宏巽负责段公馆的家事。五四运动时，段公馆外边有抗议的学生，十分热闹。庭院深处的段祺瑞在房间里休息，三女儿守候在房间里，许多人想进来报告外边的情况，都被她挡在门外，最后她发话说，外人谁要是进来就开枪打死他。所以尽管街上挺热闹，但段祺瑞并不了解外边的实情。
(三)长孙段昌世的爱情悲剧
段祺瑞的孙辈中有的颇有些段祺瑞的性格。段昌世是段宏业的长子，段祺瑞的长孙，留学英国，就读于着名的剑桥大学。有一天，接到家里的电报，告知爷爷身体不好，让他回国。段昌世于是匆匆踏上归程，到段府大门口时，只见段府上下张灯结彩，仆人们见到他都向他道喜，段昌世心中纳闷。他径直来到爷爷居住处，见段祺瑞并没有什么病态，身体挺好，心中疑团更加重了。段祺瑞见长孙从海外归来十分高兴，告诉了让他回国的真实目的。
原来段祺瑞给长孙订了一门亲事，就定在段昌世回家的这一天让他成亲。说起新娘，段祺瑞十分满意，她是龚新湛的四女儿。龚新湛(1871-1943)，字仙舟，又作仙洲，安徽合肥人，是段祺瑞的老乡，同时他在政治上也是段祺瑞的忠实盟友。龚新湛虽不是出身北洋，但在五四运动后一度任国务总理，在段祺瑞的执政府里曾任内务总长，后主要从事经济活动。这两位民国总理既是老乡，现在又结为亲家，这门亲事可说是“门当户对”了。段昌世听爷爷讲过原委，只得遵命与龚四小姐成婚，心中虽十分不悦，但对于长辈的安排，他无法提出自己的抗议。
段昌世应付了婚礼，与并无感情基础的龚四小姐成了婚，婚后生活并不愉快。为排解心中的郁闷，段昌世找到爷爷段祺瑞，提出自己想到日本去留学，当时龚四小姐也在场，插嘴说她也要和丈夫一起去，段祺瑞当场答应了。回到自己的房间，段昌世对龚四小姐大发雷霆，说自己去日本留学就是为了躲开她，龚四小姐哭哭啼啼，说什么也要和丈夫一起去，最终两人一起赴东瀛。
在日本的日子里，段昌世就读于早稻田大学。但两人的感情并未好转，相反，段昌世迷恋上一位温文尔雅的日本姑娘，并娶她为妾。后来回国时，段昌世带着两位夫人回到天津的家。
1937年7月30日，天津被日本侵略军占领。日本在天津的殖民统治中，非常重视在中国人中寻找亲日分子充当汉奸。一天，一队日本兵来到日租界段昌世的家，段昌世的日本妻子用日本的礼节来招待日本兵，但日本兵训斥了她，说日本人不该嫁给中国人，还打了她几个耳光。此时，段昌世用日语与日本军人理论，但对方仍旧采取蛮横的态度。此后，段昌世决心绝不为日本人做事，一直保持着民族气节。这与段祺瑞在日本大规模侵华前夕前往南方养老、以防止日本人利用一脉相承。
娶了日本妻子后，段昌世与龚四小姐的关系就名存实亡了，龚四小姐没有生养儿女，常年住在娘家，只是逢年过节才来段家应酬一下。在段家，同辈人都叫她“龚家大嫂”、“龚家四姐”，称段昌世的日本妻子为“大嫂”。
天津解放后，龚四小姐与段昌世正式离婚，结束了这桩悲剧色彩的婚姻。
段祺瑞的另一个孙子段昌义(段宏业之次子)曾在台湾当过蒋经国的军事顾问，在金门任炮兵指挥官。其弟段昌仁(段宏业之三子)在内地生活，他的女儿段君宜在中国实行改革开放之后，在北京创办了中国第一所较有规模的民办学校“君宜学校”。现在，“君宜学校”形成了幼儿园、小学、初中、高中等系列学校。
(四)在天津的两个孙女
段宏业的大女儿段瑂一直生活在天津，从天津中西女子学校高中毕业后赴美国大学学医，建国前任天津恩光医院院长，建国后任天津第五医院院长，抗美援朝时期曾两次赴朝，是天津医学界知名的内科专家，曾任天津市政协委员。
段宏业的小女儿(即段祺瑞最小的孙女)叫段惠敏，1938年生于天津。在天津上小学时，一次历史课上当老师讲到五四运动时，谈到当时的一些卖国贼。下课后，知道她是段祺瑞孙女的一些同学们笑话她是“卖国贼”的后代，使她受到很大的刺激，回家以后，段惠敏和母亲又哭又闹，觉得自己的家庭对国家造成了损害，说什么也不愿意再到学校去读书了。在当时抗美援朝的形势下，母亲也怕家庭的历史包袱会影响孩子，就到北京找到了章士钊，谈了自己的顾虑。章士钊是段家的朋友，给过段家很多帮助。章士钊因工作的关系经常能见到毛泽东主席，在一次和毛泽东谈话时，章士钊向毛泽东主席汇报了段家后代的顾虑。毛泽东当时指出，段祺瑞是一个历史人物，对于他的后代，就不应该上纲上线。日后，各方面对段家后代就比较讲政策了。后来段惠敏一直生活在天津，她在天津十二中学毕业，1958年参加工作，在天津化学试剂一厂当工人，退休后和当年的段祺瑞一样吃斋念佛，成为一位虔诚的居士。
(五)段祺瑞的重孙、玄孙
段祺瑞的长孙段昌世有五个儿女，长子段希增在长春电影制片厂工作，笔名“段炼”，在深受观众喜爱的电影《五朵金花》、《冰山上的来客》中，他都做美工师。这两部电影在20世纪60年代风靡大江南北。
二子段希圣在天津一家设计院当工程师，经常出国参加业务交流活动，平日过着典型工程技术人员的生活。
三子段希贤1936年生于北京，他从小酷爱书画，专攻小楷数十年，其作品清劲端雅，多次参加展览，作品《金刚经》将写和画相结合，是其主要代表作之一。段希贤是天津市书法家协会会员和天津市南开区政协委员。段希贤有两个女儿，长女段红搞服装设计，次女段方七岁开始学画，专攻工笔人物，1985年毕业于天津工艺美术学院装潢系，后从事广告设计和报社美术编辑工作，同时在佛教人物绘画方面颇有造诣，其作品《菩萨化身》、《永乐宫壁画》等曾在1996年“中国艺术博览会”上展出，作品将雕塑和国画技巧巧妙结合，线条优美流畅，堪称佳作。
段昌世的两个女儿，小女儿段静贞与张学良的外甥岳钦尧成婚。大女儿段静宜一直生活在天津，先后就职于和平区的昆明路小学和河西区的中心小学，这两所小学在天津市是很有名的学校，在多年育人成才的道路上成绩斐然，其中包含着段静宜默默奉献的心血。