当陈友谅称帝，祖先采纳妻子慕蝶之言，辞去了官职，为保全家老小周全，改姓为单，从而人间蒸发。
也因此，史书上记载，也并未提到有一姓单的谋士曾效力陈友谅。
离开陈友谅之后，单家祖先并没有再去为官，而是开始经商，因为战争时期，也是赚钱的最好时期。
那时候最为富裕的起义豪杰便是张士诚，单家祖先在那里倒买倒卖。
直至后来，朱元璋一统江山的时候，单家已经有相当雄厚的财力。
当朱元璋提出修建行宫之举，单家立刻献出一半的家产，如此，便为单家在未来几十年内迅速壮大打下了结实的基础。
巨款捐献之下，朱元璋自然召见了单家祖先，并一眼识破其乃原属陈友谅麾下一名颇有才略的谋士，有意招收入朝。
单家祖先婉言谢绝，称“年老体衰，知吾皇要建立宫殿，舍万金，愿天下安平。”
单家祖先以辛辛苦苦赚来的钱换朱元璋赐予安宁。朱元璋亦是一名惜才之士，但见对方不愿，便也不再强求，任其发展于商业。
如此一来，才有今日，这个不握权势，却成为了大明第一富商的单府。
若干年来，单家仇敌不在少数，唯有南家依着世袭万金侯的爵位，坚持不懈与单家对立。
追溯起因，乃是单家祖先效力于陈友谅时，南家当家人南峰在张士诚手下做将领。
因单家祖先献计，导致张士诚对南峰起疑，而后大战之时，单家祖先之弟又斩下了南峰左臂，单家祖先趁热打铁又施一计，让张士诚不敢再用南家之人。
就在南家落入冷宫时期之间，竟有人攻击南家所负责镇守的城池。
好事无双，噩运接踵。
南家大败，城池被敌军所夺，张士诚彻底相信南家背叛了自己。
勉勉强强死里逃生之后，南峰不知从哪得知了这一切是单家祖先所设计，率残余部署家眷投奔了朱元璋。
后来传言，朱元璋见南峰心胸狭隘，是可利用之人，便将其留下，却并不委以重任。大明一统天下之后，朱元璋赐南家世袭爵位，称号万金侯，却并无实权。