唐高祖李渊做了皇帝之后，后宫增添了很多妃嫔。在李渊晚年，这些妃嫔为李唐王朝增添了二十多位小皇子。
妃嫔们见高祖年事已高，纷纷暗中与年长的皇子们结交，为自己谋求日后的靠山。太子李建成、齐王李元吉和妃嫔们的关系很好，二人经常拿奇珍异宝笼络后宫嫔妃，让她们在李渊面前为自己说好话，以此换取高祖的信任和宠爱。民间曾传说这两位皇子和尹德妃、张婕妤之间有私情。但是，宫禁森严，不论这个传说真实与否，如今我们都已无处考证。
当时，秦王李世民和齐王李元吉分别住在承乾殿和武德殿后院。皇宫和皇子们各自的住处之间没有门禁限制，随时可以出入。秦王和齐王遇见太子时，只是按照兄弟之间的长幼顺序，行家礼。太子、秦王和齐王进出皇宫时，没有什么限制，可以随身佩戴着刀剑等武器，骑马出入皇宫。
那个时候，太子所下达的命令叫做令，秦、齐二王所下达的命令称为教。虽然在称呼上有区别，但实质上和高祖下达的诏敕具有同等的权利。这让相关部门的官员很是头疼，不知所措。最后，大臣们只能按照命令下达的先后顺序来执行。
在诸位年长的皇子中，唯有李世民注意和后宫内的妃嫔们保持距离，从不刻意讨好、奉承她们。妃嫔们对此很不满，怀恨在心，时常在李渊面前说李世民的坏话。
李世民带兵攻占洛阳后，接管了隋朝的皇宫和国库。高祖派贵妃到洛阳，接收国库内的奇珍异宝，顺便挑选前朝的宫女，补充后宫。贵妃等人到达洛阳后，找到李世民。她们提出想偷偷从国库里拿几件宝贝，私藏起来，还想为自己的亲戚在洛阳谋个官职。李世民说：“我接管国库中的时候，已经把所有的物品都登记造册，然后上报给了长安。因此，库中的东西一件都不能外流。至于说官职，只有那些对国家有功，或是有能力的人才能成为朝廷的官员。不是随便什么人都能做官的。所以，各位娘娘提出的要求，我恐怕无能为力。”拒绝了她们。此事过后，妃嫔们对李世民愈发怨恨。
淮安王李神通随秦王四处征战，功勋卓著。李世民把几十顷良田分给他作为奖励。在此之前，张婕妤的父亲觊觎那块地很久了，正通过自己的女儿向高祖请求要这块地。于是，高祖下令，把那片地赏给了他。但是，李神通仗着李世民的命令早于皇帝的旨意，坚决不让出田地。张婕妤向高祖哭诉：“陛下，秦王无视您的敕令，抢了您赏赐给我父亲的那块田地，然后赏给李神通了！”高祖勃然大怒，把李世民叫到跟前，质问他：“朕是皇帝，难道朕的旨意还不如你的命令管用吗？”几天后，高祖和左仆射裴寂说到此事，向他抱怨道：“朕这个儿子，长年在外带兵征战，身边聚集了很多谋臣。时间一长，被那些书生带坏了，已经变得和以前不一样了！”
尹德妃的父亲叫尹阿鼠。他依仗自己的女儿是高祖的宠妃，平日里飞扬跋扈，横行霸道。就连朝廷的官员，他都不放在眼里。有一次，他家的家仆看到杜如晦骑马从门前经过。几个人上前，把杜如晦从马上拽了下来，大声喝问：“大胆，你是什么人？知道我们主家是谁吗？经过我家门前，竟敢不下马！”杜如晦被狠狠地揍了一顿，一根手指也被打断了。
当时，杜如晦在秦王李世民的府中任职。尹阿鼠知道后，非常害怕李世民对李渊说出此事。于是，他找到尹德妃，让她先在李渊面前诋毁李世民。尹德妃对李渊抱怨：“陛下，秦王太过分了，竟然纵容自己的部下欺负我的家人！请陛下为臣妾做主！”高祖听后，怒气冲冲地训斥李世民：“你是怎么管理手下的？他们连我妃嫔的家人都敢欺负，还有什么人是他们不敢欺凌的？”李世民很无奈，只得不断地向高祖解释这件事。可是，高祖始终听不进去，不肯相信李世民的辩解。
平日里，高祖会带着妃嫔们在皇宫里举办宴会。有时，李世民会在高祖身边陪同。每到此时，李世民想到早逝的母亲没能看到父亲一统天下，心情会变得很低落，有时还暗自落泪。高祖发现李世民的举动后，不明原因，非常不开心。
妃嫔们见此情形，纷纷向李渊表示：“陛下为国家辛苦操劳一生。如今江山一统，天下太平，陛下时常休息娱乐一下也是应该的。可秦王每次都这样情绪低落，叹气落泪，分明是对我们不满，怨恨我们。陛下，您年事已高，万一哪天您突然撒手仙去。我们孤儿寡母可怎么办？秦王容不下我们，肯定会把我们都杀了。好在太子为人宽厚，有仁爱之心，对您又非常恭敬孝顺。即使陛下百年之后，也一定能照顾我们母子。”说完，妃嫔们坐在一起伤心落泪，泣不成声。高祖见状，心情变得很低落。从那以后，高祖愈发信任李建成和李元吉，与二人的关系日渐亲密。对于李世民，高祖不再考虑改立他为太子的事情，并逐渐疏远了他。
公元624年，唐高祖武德七年，这一年的夏天特别炎热。六月，高祖李渊决定到仁智宫去避暑。二十四日这天，发生了一件事，打断了唐高祖李渊愉快的避暑假期。庆州都督杨文叛变了。
很早以前，李元吉就极力劝说李建成，要尽早除去李世民。他说：“太子，如果你不忍心，那我替哥哥下手除去他。”有一次，高祖到齐王的府中探望，李世民随行。李元吉让自己的护军宇文宝藏在卧室里，打算对秦王下手。李建成本性比较宽厚，心肠有点儿软。当他知道李元吉要刺杀李世民后，极力劝阻，制止了齐王的行动。李元吉对此很不满意，生气地说：“我完全是为了您考虑，这么做对我有什么好处！”
太子东宫中，有一支特殊的卫队，号称长林兵。平时，太子安排他们驻扎在东宫的左右长林门。这支队伍有两千多人，都是李建成私自从各地找来的勇士。除此之外，李建成暗地里派可达志与燕王李艺联系，从他那里调来了三百名骁勇善战的幽州骑兵。李建成本打算把这些人作为低级军官，混编入自己的东宫卫队。可是，这些骑兵刚刚被安顿在东宫东面的坊市里，就有人告发了他们。高祖为此事把太子狠狠的骂了一通，把可达志流放了。
叛变的庆州都督杨文曾是东宫的近卫。李建成待他很亲近，也非常信任他。李建成让杨文暗中留意招揽勇士，往长安输送。
高祖去仁智宫避暑之前，他下令让太子坐镇长安，秦王和齐王随御驾同行。临行前，李建成找到李元吉，让他趁这次机会除掉李世民。他说：“生死成败，就在今年见分晓了！”李建成命郎将尔朱焕和校尉桥公山前往庆州，押运大批盔甲给杨文。当二人走到豳州的时候，给高祖送去了密报。上面说太子送盔甲给杨文，命他起兵叛变，自己则在京城接应。与此同时，一位名叫杜风举的宁州人也跑到仁智宫，向高祖告发太子要谋反。高祖怒气冲天，亲笔下诏，借口别的事让李建成立刻到仁智宫来见自己。
李建成接到诏书，知道事情败露，心中恐惧，不敢去见高祖。府中的官员纷纷献计献策。詹事主簿赵弘智劝太子，让他免去仪仗，不带随从，立刻到高祖那里负荆请罪。太子舍人徐师则劝他一不做二不休，索性占据长安，就此发兵起事。李建成考虑再三，决定前去认罪。刚走了不到六十里路，刚走到北魏毛鸿宾的栅堡附近时，李建成把随行的官员留在那里。随后，带了十多个人，马不停蹄地的赶往仁智宫。李建成见到高祖后，跪在李渊的面前，趴在地上磕头，承认自己的罪行。他还把自己猛地摔出去，差点昏死过去，以此来谢罪。但是，高祖正在气头上，没有原谅他。
当天夜里，高祖赐给李建成麦饭，把他安置在帐篷里，由殿中监陈福看管。高祖派遣司农卿宇文颖迅速前往庆州，传唤杨文。杨文见到宇文颖，了解当前的情况后，随即起兵反叛。高祖随即下诏，让左武卫将军钱九陇会同灵州都督杨师道，共同讨伐杨文。
二十六日，高祖召见秦王李世民，就此事征求他的意见。
李世民说：“杨文竟然如此狂妄，敢公然举兵叛乱！不过，父皇，可能他现在已经被自己的手下制服，或者已经被自己的部下给杀了。即便情况不是这样，父皇也不必多虑，直接派人带兵剿灭他就是了。杨文那小子成不了气候！”
高祖考虑了一下，说：“不行，这件事牵连着你大哥，朕担心会有更多的人响应杨文。朕希望你能亲自去一趟。等你平叛回来，朕就改立你为太子，到时候让李建成去做蜀王。我没办法像隋文帝那样残忍，杀了自己的儿子。你要答应我，如果他能安心做一个臣子，你要留他一条性命。即便他不安分守己，蜀地那里部署的兵力不多，你对付他也会容易点儿。”
仁智宫作为避暑的皇家行宫，修建在山里。高祖害怕自己被追随太子的叛贼围攻，带领皇家卫队连夜从南面出山。刚走了十几里的时候，碰到了陆续前来的太子东宫的官员。高祖命令他们三十人站成一队，交给军队分开看管。到了第二天，高祖才重新回到仁智宫。
李世民带兵出发后，很多人为太子求情。在外朝，封德彝想尽一切办法为太子开脱。在后宫，嫔妃们和李元吉也不断地为李建成说情。最后，高祖被说服，改变了主意，派太子返回长安，继续驻守京城。
最终，高祖把这件事的所有罪责推到了太子中允王珪、左卫率韦挺和天策兵曹参军杜淹的身上，把这几个官员流放到巂州。对于太子李建成，高祖只是以没有注意团结兄弟作为理由，训斥他一顿，就此了事。