国家祭孔转为常规之前，孔氏家族并没有很高的社会地位。公元8年，儒生梅福上书朝廷指出：“今仲尼之庙不出阙里，孔氏子孙不免编户。以圣人而歆匹夫之祀，非皇天之意也。今陛下诚能据仲尼之素功以封其子孙，则国家必或其福。”
奏折之意是全国祭孔的圣地仅曲阜一处，然而孔子后裔仍为平民，需皇室赐予特权，以便天下畅行尊孔之道。
自公元37年起，国家定期祭孔，孔子后裔得以封侯，成为贵族。时至公元189年，战乱迫使孔家人背井离乡。直到公元221年，天下暂且太平，魏文帝不得不派人四处寻访圣裔，最后从别处找到了一个孔子后裔调至曲阜主持祭祀。经常伴随着杀戮的王朝更迭一次又一次地迫使孔家人逃离曲阜。但每当动荡过后，朝廷会下令寻访逃散的孔子后裔。出于尊孔的需要，宋仁宗将孔子世系的嫡系长子封为“衍圣公”，此封号一直沿袭到1935年。该年，民国政府取消“衍圣公”封号后，改为“大成至圣先师奉祀官”。生于1920年的孔德成先生即从末代衍圣公的地位转为首任祭祀官。他于2008年去世后，“衍圣公”头衔就此画上句号。
神话使得人们相信，孔子世系代代由长子继承，血脉从未中断。但迷失毕竟是迷失。让我们以孔仁玉和孔末的传奇性故事为例。孔仁玉是孔子第四十三代孙，也是独子，生活在唐宋之间的五代十国时期；孔末原名刘末，到衍圣公府做仆人时改随孔姓。据说，当时所有在衍圣公家里做仆役的人都要改姓孔，直到明末才不必改姓。
根据孔氏家族谱牒记录，野心勃勃的孔末趁时局混乱不但杀死了在位的衍圣公，还想斩草除根，试图杀死不满九个月的衍圣公继承人孔仁玉。在孔家效劳的一位张妈妈在危难之中让自己的儿子穿上孔仁玉的衣服，被孔末当做衍圣公嫡传杀害。杀人后，孔末自称孔氏嫡系后裔。多年后，孔末罪行被揭露，朝廷将孔仁玉立为曲阜孔氏大家长，即孔子世家族谱中记录的“中兴祖”。
藏于衍圣公府的族谱当然肯定孔仁玉的合法地位。一旦朝廷下诏认可，孔末所杀的那个孩子究竟姓张还是姓孔的悬案一定无人再敢过问。“中兴祖”孔仁玉的蹉跎经历以及后人的不断追述导致了两个习俗的形成，一直延续到本世纪四十年代。第一个习俗是孔仁玉感激张妈妈的方式，即把张家后代当成“世代恩亲”。孔家举办婚宴时必须有张家后代到场。
第二个习俗是坚持区分“内院孔”与“外院孔”的界限。前者指孔仁玉的后代，后者指孔末的后代。曲阜孔氏1937年编辑的族谱专设“伪孔辨”一文，所针对的对象即孔末的后代。
即使毫无争议的继承人早已出现，朝廷也未必认可。例如，1128年，女真人入侵，衍圣公带着家眷逃往浙江衢州。
歼灭女真政权的蒙古人继而在1282年彻底摧毁南宋。稳固政权之后，蒙古人也开始开始“关照”曲阜，逼迫身在南方衢州的衍圣公孔朱让出衍圣公封号，转给一位留在北方曲阜的孔氏后人，以表彰他留守看护孔子陵墓的功劳。
显然，衍圣公头衔反复易主的事实说明，孔子世系代代由嫡系长子继承的说法缺乏真实性。这种宣称之所以千百年来不断被重复，需要两类历史行动者共同作用。一方面，国家乐于寻找可信任之人充当衍圣公，主持曲阜祭孔仪式。另一方面，一小撮野心勃勃的孔氏自称为孔子嫡系后裔，试图得到衍圣公封号。用另外一种方式表达，衍圣公的头衔是两股推力的连体产物。第一股力量是推崇孔子的国家行为；第二股力量是争当孔子嫡系后裔的民间行为。