从公元617年李世民劝说、佐助父亲李渊起兵以来，短短的四五年间，他戎马倥偬，出生入死，先后消灭了薛仁杲、刘武周、窦建德、王世充、刘黑闼等势力，为开创和奠定统一天下的唐王朝建立了首功。李渊考虑到李世民的功绩显赫，于武德四年（621）十月特地为他设置了一个官位，封李世民为“天策上将”，位在其他王公之上，准许他设立天策府，在府里任命各种官员。
建天策府后，李世民便广罗天下英雄豪杰，他把自己的亲信安排在重要的位置之上。一时间，他的周围拢聚了四方名流俊士，杜如晦、房玄龄、虞世南、陆德明、孔颖达等“十八学士”都聚集在他的门第之下，人们称进入他府中的贤达为“登瀛洲”。这样，就形成了一个以李世民为核心的政治集团。太子李建成对此深感不平，齐王李元吉也很不服气，李渊的儿子们之间的矛盾越来越大，等待他们的将是“本是同根生，相煎何太急”的激烈的互相残杀。
早在李渊起兵晋阳时，因李世民谦让，不肯做父亲的继承人，李渊就立了李世民的同母哥哥李建成为世子。以后李渊当了皇帝，李建成自然就成了太子。太子李建成，宅心仁厚、待人诚恳，但是他喜欢游猎酒色，每日和一帮不三不四的人在一起，寻欢作乐、不务正业，许多人劝说他都不听。虽然李建成也曾随李渊南征北战，并且在武德四年三月破稽胡首领刘企成，但直到武德五年，李建成的功业都远不及李世民。身为太子，功业智谋都不及弟弟李世民，心中的滋味当然很不好受。
而李世民的弟弟齐王李元吉更是骄奢淫逸，虐待仆从、草菅人命，还经常外出打猎游玩、践踏老百姓的庄稼，纵容手下的人抢劫老百姓的东西。更有甚者，还命人在街上拿弓箭射过路的百姓，以看人避箭为乐。这李元吉所立的军功也远远不如他的二哥李世民，在隋末唐初的征伐中，经常临阵脱逃，不像李世民英勇作战，身先士卒。
李元吉非常贪婪暴戾，看到父亲李渊给了李世民那么多名分，朝廷里的大臣们都向着他，老百姓也都十分敬重他，不由妒火中烧。他将李世民视为眼中钉、肉中刺，总想置李世民于死地。由于李渊对李建成、李元吉都很不满意，常想用李世民代替李建成来做太子。李建成知道后坐卧不安，他早就知道李元吉同李世民不和，于是便和李元吉串通一气，密谋策划，想把李世民除掉。对李世民共同的仇恨将李建成和李元吉联系在了一起，开始防范李世民。
唐高祖李渊在天下基本一统后，开始沉湎于女色，也就封了很多妃子、生了许多儿子，这些儿子刚生出来，李渊便封之为王。那些妃嫔们为了巩固自己母子的身份地位，千方百计争相结交李建成、李世民、李元吉。李建成和李元吉为了取得李渊的信任，也百般讨好迎合李渊的宠妃张婕妤、尹德妃等。阿谀奉承，贿赂送礼，无所不至，希望她们在李渊面前说自己的好话。只有李世民自以为功高位重，不屑于去结交父亲众多的妃嫔。这样，李渊身边的女人对心高气傲、智勇双全的李世民也恨之入骨，于是她们争相在李渊面前称赞李建成、李元吉，而诋毁李世民，离间李渊和李世民父子的关系。李渊逐渐对李世民产生了反感，而慢慢改变了对李建成、李元吉原来的看法。
武德四年李世民平定洛阳，李渊派几个自己特别宠爱的妃子到洛阳，挑选隋宫中的宫女和仓库中的珍宝古玩，这些妃子借机向李世民索取珍贵物品，还为自己的亲戚向李世民求一官半职。李世民义正词严地拒绝说：“珍贵物品都已登记在册上，我们要上报国库、呈报朝廷，不能随意送人。至于官职，要授给那些德才兼备又有功劳的人，不能随便送人。”这更得罪了李渊身边的亲信。这些妃子恼羞成怒，回去后哭哭啼啼地向李渊诉苦；亲信们也在李渊身边常常诉说李世民的不是。李渊听了，很不高兴。
李渊在位时规定，他的命令称作“诏敕”，太子李建成的命令称作“令”，秦王李世民和齐王李元吉的命令称作“教”，他们四人的命令官府都得遵守，如果“诏敕”“令”“教”有冲突时，执行者就以哪个公文先到为准而服从。
李世民平定洛阳后，认为淮安王李神通有战功，就赐给李神通良田数十顷。李渊的宠妃张婕妤的父亲也看中这块地，通过女儿向李渊要。李渊不知李世民已把田赏给李神通，当即写了诏敕把田赏给张婕妤的父亲。李神通认为自己有军功，而且认为李世民赐他在前、李渊诏敕在后，就坚决不肯把田让出来。
张婕妤知道后大为恼怒，当即就向李渊哭诉说：“陛下亲自下令将良田赐给臣妾的父亲，哪料秦王李世民根本不把臣妾放在眼里，竟夺了过去，转赐了李神通。这叫臣妾有何颜面继续活下去啊！”李渊知道后大为震怒，再也按捺不住怒火。他对长年跟随自己的谋臣裴寂说：“李世民长年在外，放荡不羁，已经不是以前我的那个知书达理的好儿子了。”李渊当即把李世民叫来，大发雷霆。李世民知道原委后，虽有几分委屈但也无可奈何，便下令李神通将这块田送给了张婕妤的父亲。但是，李渊仍然怒气不息。
一波未平，一波又起。过了几天，天策府的官员杜如晦上街时经过李渊宠妃尹德妃的父亲的门前。尹德妃的父亲阿鼠仗着女儿的气势横行霸道，作恶多端，谁也不敢过问。他见杜如晦在他家门前不下马，便叫来几个家童把杜如晦拉下马来，围上去殴打杜如晦，并折断他的一个脚趾，还指着杜如晦的鼻子骂道：“你是什么狗东西，敢过我家门而不下马？你知道老子是谁吗？我可是当今皇上的岳父！你以为有李世民作靠山，老子就怕了你啦？”
阿鼠害怕李世民到李渊那里告他，就贼喊捉贼，叫自己的女儿先向李渊告状，说：“秦王李世民纵容手下的人欺辱我家人。”李渊听后龙颜大怒，把李世民叫来，训斥道：“我的宠妃家，连你手下的人都敢随随便便欺负，更何况一般老百姓？你还把我这个父王放在眼里吗？”李世民虽然百般解释，李渊还是不相信。
各路农民起义军被消灭以后，天下日渐太平，没有重大战事。李渊贪图享乐，经常在宫中举行宴会。李渊每次在宫中大张歌舞酒宴，李建成、李世民、李元吉往往都要奉陪。李建成、李元吉每次都高高兴兴地对李渊歌功颂德、极尽奉承之能事，和李渊的妃子们调笑取闹，讨李渊喜欢。李世民每当看到李渊宠妃如云，就想到自己的生母、李渊的元配夫人太穆皇后早逝，看不见李渊夺得天下，也不能和父亲共享天下。因此每每情不自禁，潸然泪下。
李渊看到很是恼火，他的妃子们也极不愉快，觉得李世民破坏了他们那歌舞升平的欢娱气氛。李建成、李元吉便叫宠妃乘机煽风点火，说李世民的坏话：“现在海内一家，天下太平。皇上您年事已高，自然应当享受欢乐。但秦王李世民却每每哭哭啼啼，扫陛下的兴，分明是因为李世民嫉恨我们母子啊。陛下在时尚且如此，等您万岁之后，我们母子必然不为李世民所容，肯定都要死在他的手里。皇太子仁厚孝顺，对我们恭恭敬敬。皇上您还是把我们母子托付给太子吧，一定安全可靠，万无一失。”
李渊日益宠信李建成和李元吉，从此打消了变更太子的考虑；而兄弟的嫉恨、父亲宠信的诽谤，使得李世民越来越被李渊疏远。