《三国志·蜀书·张飞传》称：“飞爱敬君子而不恤小人。”此处说张飞对高门豪族、士大夫是相当敬重的。
据明《涿州志》记载，有称张飞乃该州城南十五里村子的庄园主（清末以村名为忠义店，后又更名为张飞店），属于非贵族官僚血统圈的地方土豪。当地传说他还独资经营卖肉公司。富则富矣，而所奇缺的就是与豪门世族的高层交往，所以当得知刘备沾上点汉家气息，就倾心相加了。
因追慕于高门，张飞择偶亦就计较门第了。汉建安五年（公元200年）春天，张飞随刘备在徐州，偶而外出，行行复行行，竟走到谯郡（安徽亳州）地界。“时霸（夏侯渊子夏侯霸）从妹年十三四，在本郡，出行樵采，为张飞所得。飞知其良家女，遂以为妻。”（《三国志·魏书·夏侯渊传》引《魏略》）
当年，曹操为在官渡、白马等地抗击袁绍，先曾亲征刘备，相持于徐州、小沛、下邳等地，夏侯小姐大概就在这个时候外出樵采，为张飞俘获的。夏侯氏乃谯郡望族，系汉朝功臣夏侯婴世系，世代簪缨，讲究门第的张飞得之大喜。当时的张飞年纪推理，估计已是三十五六了，与夏侯小姐最少也得相距二十一、二岁。一个欢喜，一个不从亦得从，她毕竟是个亡虏嘛！
但得好郎君，哪怕万里行。此后这位张夫人夏侯小姐，再也没有归宁，跟着张飞下汝南，屯新野，奔走长坂，住南郡（湖北江陵），后来又来到阆中。这对老夫少妻感情还真蛮好哩，先后生育了两子两女。
两子是张苞、张绍。
《三国演义》称张苞有似乃父，勇冠三军，所谓“虎父无犬子”也。实则不然，据史书张苞早夭死，而且还死在张飞被害之前，所以当张飞被帐下张达、范疆杀害后，由次子张绍袭西乡侯爵。张绍却是长命。蜀汉景耀六年（公元263年），邓艾进军成都，他作为后主阿斗的首席代表送去降书的。这时大概是有六十多岁了。
夏侯小姐为张飞生育的两位千金，先后都成为后主阿斗的皇后娘娘。
蜀汉章武元年（公元221年）五月，刘备立刘禅为皇太子，并娶张飞长女为太子妃，本年刘禅仅十四岁，张大干金当更小些，可见她是在奔长坂前，就生于新野或樊城了的。
当时，张飞还健在，女为太子妃，所以说张飞刘备是“结义兄弟”不见于史书，但儿女亲家确是真事。建兴元年（公元224年），刘禅接班做蜀汉第二代皇帝，理当所然，张大千金也就当上了皇后。
张皇后主持后宫十五年。在此期间，诸葛亮死，主政是蒋琬。建兴十五年，张皇后病死，张二千金立为贵人，明年正月，立为皇后。延熙十二年（公元249年），魏国内乱，摄政大臣曹爽被司马懿杀死，自此曹氏败衰，与曹爽交厚又有血缘关系的夏侯霸日子非常难过，无可奈何孤身逃往蜀汉。这时张飞虽已死了多年，但张夫人夏侯小姐还在，刘禅已有几个儿子。虽然都不是张大千金和张二千金所生育，但都称皇后为母的。当他非常高兴地见到这位远道来归的皇后娘舅时，就指着几个王子说：这就是夏侯氏的外孙啊！
夏侯小姐异地与哥子重圆，不胜欢欣，夏侯霸当然也无须政审，两年后，就超擢为车骑将军，与卫将军姜维同阶（第二品），带兵出征。他在蜀中生活了十年，病死。此时夏侯小姐大概也已辞世了。
张二千金做了二十四年皇后，蜀汉亡国时，成都大乱，宫殿女人、甚至刘禅的妃妾们亦难避免遭抢掠，她庆幸无恙。后与刘禅同被迁居洛阳。
夏侯小姐看来和张飞感情相当融洽，有始有终。张飞也是多情好男儿，自己挑选对象，真个是稳准狠，很有生活气息。他在《三国演义》、戏曲里几乎全是粗莽汉子的形象，没有女人，也不需要有女人。在大英雄前谈儿女情事，是有污英雄形象的。此种宣扬绝人欲的传统艺术思维打造，毕竟是文学。所以张飞这段有板有眼的绝妙文字，是不能见于《三国演义》的。