李渊兵力日增，集结于太原，其反隋之迹日彰，于是王威、高君雅便暗中策划晋祠祈雨大会，想把李渊诱骗至此，加以杀害。然而被晋阳乡长刘龙“窃知雅等密意”并立即报告给李渊父子。刘龙本与高君雅相善，后因裴寂的关系而与李渊相识。
李渊不因其出身微细，相侍以礼，刘龙颇多感动，将“威、君雅欲因晋祠祈雨，为不利”的事告诉了李渊。
这年五月，癸亥夜，李渊派遣世民伏兵于晋阳宫城之外，次日清晨，李渊与王威、高君雅共坐视事，叫刘文静引开阳府司马刘政会人于庭中，称有密状。李渊故意让王威先看密状，刘政会却不给，并说：“所告乃副留守事，唯唐公得视之。”
李渊接状一看，原是控告“威、君雅潜引突厥人寇”一事，高君雅则大声申辩。这时世民已布兵塞衢略，文静乘机与刘弘基、长孙顺德将王、高逮捕入狱。又恰逢突厥数万骑兵寇掠晋阳，大家都以为确实是王、高引突厥人边的，李渊于是斩了王威、高君雅。这就是著名的“晋阳宫变”，这也标志着李渊、世民父子于晋阳正式起兵。李建成和元吉赴太原，留其弟智云于河东。河东隋吏将智云逮捕送长安，杀之。建成、元吉于途中遇到柴绍，六月，一起奔赴太原参加起兵。
李渊起兵之后，仍处境艰危。因为北面有强悍的突厥，在刘武周的勾结之下，随时进会来进攻。太原起兵后的第三天，突厥骑兵数万，兵临太原城下，闯入罗郭北门，并取东门而出。李渊部将王康达率军千余出战，皆死。结果太原城中，人心惶惶。当时刘文静劝李渊与突厥相结。李渊觉得义师与突厥相比，将少兵寡，战则必败，为了集中兵力攻克河西，西人关中，决定接受文静的建议，并派遣文静与突厥谈判，李渊还亲自写信给突厥始毕可汉，“我今大举义兵，欲宁天下，远迎主上，还共突厥和亲。”并说：“若能从我，不侵百姓，征伐所得，子女玉帛，皆可汗有之”。始毕可汗得信大喜，连忙表示愿支持李渊起兵反隋，并立即派遣大将康鞘利率领骑兵二千及马千匹，随刘文静到太原。这样李渊便没有了后顾之忧。
李渊、李世民父子在行迹外露的危急时刻，果断地在晋阳拉起反隋大旗，确定英明之举。而他们在太原起兵以后，为了能更广泛地得到隋朝军政官吏的支持，减少起兵的阻力，仍然打着尊隋的旗号，这无疑又是一英明过人之举。当时裴寂与建成、世民等向李渊建议，“请尊炀为太上皇，立代王杨侑为帝，以安隋室”。这一点为李渊所接受，并获得了极好的政治效果。
明经8机不可失，乘胜追寇
“功者，难成易败；机者，难得易失。乘其势逐之，此破竹之义也。如更迟留，贼必生计，此失机之道。”
——李世民
机会对每个人来说都是平等的，成功者的秘诀在于能牢牢地把握每一次机会，并把它转化为自己的胜利果实。李渊、李世民父子就是成功者，他们正是紧紧地抓住了晋阳起兵后的有利时机，乘胜追寇，直捣长安，从而奠定了雄踞关中的根基。
晋阳起兵后，为师出有名，乃传檄诸郡，称作“义兵”。
“义兵日有千余集焉，二旬之间，众得数万”。但也遭到了某些隋朝地方势力的抗拒。如“太原辽山（今山西省左权县）令高斌廉拒不从命”，并派遣使者间道赶往江都，向炀帝奏报李氏父子举兵之事。炀帝本就憎恨李渊据有太原，听到奏报后，非常害怕，乃下令“东都西京，严为防御”，以防李渊势力的进一步扩大。又如西河郡（在今汾阳）亦不从渊命。当时晋阳发难后，下步的行动决策是非常明确的，那就是要乘虚人关，直取长安，以便控制关中、陇右以争天下。面对隋地方势力的拒命，李渊的政治头脑非常清醒。他分析当时的形势说：“辽山守株，未足为虑，西河绕山之路，当吾行道，不得留之。”李渊要挥师南进，必经西河郡，为了扫清道路，必须首先攻下该地。这也是起兵之后的第一个战役，其成败影响甚远。于是于大业十三年（617年）六月，“乃命大郎、二郎率众取之”。行前，李渊对建成、世民说：“尔等年少，未之更事，先以此郡，观尔所为。人具尔瞻，咸宜勉力。”建成、世民表示，如不能取西河，愿受军法处置。当时，因义兵初举，军队未经训练，世民等恐兵士不能卖力攻取，故以军法为言。“三军闻者，人皆自肃。”这次出兵，李渊“并命太原令温大有与之偕行”。并对大有说：“士马尚少，要资经略、以卿参谋军事，其善建功名也！事之成败，当以此行卜之。若克西河，帝业成矣。”这次出师西河，建成、世民能同义兵“等其甘苦，齐其休息，风尘警急，身即前行，民间近道果菜已上，非买不食。义士有窃取者，即遣求主为之还价，亦不佶所窃之人”。“将士见而感慨，人百其勇。”至西河城下，“城外欲入城，人无问男女大小，并皆放人城内。既见义军宽容至此，咸思奔赴，唯有郡丞高德儒执迷不反”。以兵临之，“执德儒以送军门”。世民怒斥其罪，并称：“吾兴义兵，正为诛佞人耳厂遂斩之，自外不戮一人，秋毫不犯。往返九日，就取得西河首捷。李渊高兴地说：“以此用兵，天下横行也。”这就更加坚定了李渊进兵关中的决心。师回之日，“即定入关之策”。李渊还开仓以赈贫民，应募入伍者日多。于是设大将军府，李渊为大将军。
渊命分为三军，以李建成为陇西公，左领军大都督，指挥左三军；李世民为敦煌公，右领军大都督，指挥右三军。命裴寂、刘文静为大将军府长史和司马，唐俭与温大雅为记室。大雅仍与其弟大有共掌军机。武士芰为铠曹，刘政会、崔善为、张道源为户曹、姜鲂为习功参军，殷开山为府掾，长孙顺德、刘弘基、窦琮、王长谐、姜宝谊、阳屯为左右统军。自余文武随才授任。柴绍为右领军府长史。这样，李渊从五月甲子起兵，至六月癸巳日建立起政治、军事机构，只用了48天的时间。从此，公开的、有组织、有计划的夺取隋氏天下的军事行动，便开始了。
不过，西河首捷，仅仅是进军关中的第一步。李氏父子要想实现夺取关中的军事目的，还必须攻克许多难关。首当其冲的，就是要务必拿下霍邑。因为霍邑是由太原沿汾河通往关中的第一道坚固防线，攻克霍邑，就打开了通往关中的门户。其战略意义，李氏父子心中当然明白。
大业十三年（617年）七月壬子，李渊以四子元吉为太原太守，留守晋阳宫，后方之事悉以委之，李渊亲率大军进兵关中。癸丑，将士们拥李渊立于军门，集甲士3万，仗白旗而誓众。誓词深刻地揭露了隋炀帝的罪行，指斥炀帝是“安忍忌刻”，“饰非好佞，拒谏信谗”的暴君；揭露他“巡幸无度，穷兵极武”，以致于造成了众叛亲离的局面；炀帝“辽水屡征”，“伊谷转输”，于是，“毙老幼于百万”；他“征税尽于重敛，民力殚于劳止，十分天下，九为盗贼”。因而指出隋朝的必然命运是“赫赫宗隋，灭亡有国”。誓词中还指出，李渊之所以兴兵是为了“废昏立明”。并移檄郡县，谕以尊立代王杨侑之意。这篇檄文实际是讨伐隋炀帝，这就标明以李渊父子为首的政治集团的反隋是坚决的，从此以后，他们再无退路，只能义无返顾地走到底。同时，李渊父子公开了自己的反隋目标，极大地鼓舞了反隋力量，有利于将之尽可能地团结在自己周围，使李氏集团的政治军事力量迅速扩大、发展。
七月任寅，又派遣通议大夫张伦等率师经略离石（今山西省离石）、龙泉（今山西省陧县）、文城（今山西省吉县）三郡，以加强主力军右翼的力量。丙辰，李渊率主力至西河，慰劳吏民，赈赡穷困，“擢任贤能，平章狱讼”。民年70以上皆除散官，其余豪俊，随才授任。遂即挥师南下，经雀鼠谷。壬戌，秋雨霖霖，大军顿营于贾胡堡，（今山西汾西北），离霍邑50里。霍邑“西北抗汾水，东拒霍太山，守险之冲，是为襟带”。隋代王杨侑时为西京留守，知李渊已起兵，派遣骁将兽牙郎将宋老生，率精兵2万拒守于霍邑，又派左武侯大将军屈突通，将辽东兵及骁果等数万人据河东，与老生相影响。
并且临汾以东诸郡的军民受老生、屈突通等征发。当时秋霖不止，道路泥泞，粮运不继。李渊命府佐沈叔安、崔善为等还太原，更运一月粮。是时又有流言：突厥欲与刘武周南入，乘掩袭太原。李渊召集诸将佐商量对策。裴寂等认为：宋老生、屈突通联兵据险，未易猝下，“太原一方都会，且义兵家属在焉，不如还救根本，更图后举”。李世民则反对此议，他说：
“今禾菽被野，何忧乏粮，老生轻躁一战可擒。李密顾恋仓粟，未遑远略。武周与突厥外虽相附，内实相猜。”在这种情况下，“当须先人咸阳，号令天下。今遇小敌，遽已班师，恐从义之徒一朝解体，还守太原一城之地为贼耳，何以自全”！李建成亦以为然。但李渊不听，促令班师。世民将复人谏，而李渊日暮已寝，世民不得人，于是号哭于外，声闻帐中。李渊召问其故，世民说：“今兵以义动，进战则克，退还则散；兵散于前，敌乘于后，死亡五日，何得不悲！”这是李渊与世民在用兵策略上发生的第一次分歧。
在大兵逼近霍邑的时候，忽有流言传来，且遇秋雨连绵，大军受阻不前，在这种情况下，攻取霍邑退守太原，是应该慎重考虑而又必须当机立断的事。李渊慑于突厥，害怕动摇根本，盲目听从了裴寂的建议，这实际是用兵策略上的失误。
而李世民对各方的力量作以对比分析，所作出的判断比较合乎客观实际。首先，李世民对突厥和刘武周的关系，既认识到他们有相互勾结、相互利用的一面，更认识到他们相互矛盾、相互制约的一面，实际上他们对太原还不会构成威胁。
其次，又分析到如果李渊一旦撤军回师，霍邑之敌乘势追击，确实可以造成李渊军队腹背受敌的危险，“敌乘于后，死亡无日”，这也并非是戏言。第三，还师太原，又与李渊决心进兵长安、号令天下的决策相矛盾，若仅为守太原一城之地而退兵，诚如世民所说，只能落到“为贼”的地步了。由上述可知，李世民初踏征程，确已显露了他果断有为的作风和卓越的军事才能。不过李渊能够及时听取正确意见而修正错误，也是英主。李渊又令建成与世民连夜追回了已经后撤的队伍，时八月初一，天晴。初二日李渊命诸军曝晒行装，整顿铠杖。初三日，沿傍山小道而向霍邑，前进七十余里，初行时，雾大，不久雾散，秋景澄明。当时李渊顾虑老生“怯而不战，闭门城守”。以致旷日持久，贻误战机。李建成、李世民则提出了引诱宋老生出城的建议。于是李渊亲率数轻骑，先到霍邑城东五六里的地方严阵以待。同时，又派遣李建成、李世民各率数十骑临其城视察地形，并且举鞭指挥，似若安营攻城的样子。老生在城上看到军逼城，乃从南门、东门两道引兵3万而出。背城而阵。李渊又以佯败，引宋老生离城里许而阵。这时李世民与军头段志玄自南原引兵驰下，堵死了宋老生的退路。宋先生遭到腹背夹击。这次大战是“鼓未及动，锋刃已交，响若山崩，城楼皆振”。同时，李渊于军中传言：宋老生已被斩首，以此鼓舞士气，动摇对方军心。宋老生战败，欲逃人城中，而城门已为建成、世民屯守。城上人下绳引之，老生攀绳欲上，结果被斩。这次战斗“数里之间，血流蔽地，僵尸相枕”，于是霍邑遂平。霍邑是由太原沿汾河通往关中的第一道坚固的防线，霍邑被克，便打开了通往关中的第一道大门。
在这次战斗中，凡有战功者，李渊都加以奖赏。但“惟有徒隶一色，勋司疑请”。于是李渊下令说：“义失取人，山藏海纳，逮乎徒隶，亦无弃者。……岂有矢石之间，不辨贵贱，庸勋之次，便有等差，以此论功，将何以劝？黥而为王，亦何妨也！赏宜从重，吾其与之。诸部曲及徒隶征战有功勋者，并从本色勋授。李渊采取这种不论出身贵贱、等级地位高低，以功行赏的措施，对于其壮大自己的势力，提高队伍战斗力起到了极其重要的作用。李渊还慰劳霍邑吏民。凡是关中的军士欲回关中，并授五品散官遣归。这样一来，既可以顺其归志，又可以动关中土民之心。“自是以后，未归附者，无问乡村堡坞，贤愚贵贱，咸遗书招慰，无有不至”。李渊的政策，起到收取民心的作用，确实“胜于用兵。”
攻克霍邑后，李渊、世民父子又挥军南下，“席累胜之威，鼓行而西，长安之人望风震骇，取之苦振槁叶厂长安的略取，标志着隋王朝的覆灭和李氏家族坐镇天下的开始。
李氏父子以破竹之势取西河，拔霍邑，占长安，初步完成了其控制关中以争天下的战略构想，其关键在于把握住了有利战机，以得胜之师乘胜追寇，连取几大战略要地，从而形成了以一隅牵制全国之势。
明经9身先士卒，鼓舞士气
“尝自帅轻骑南下，身先士卒，三军感恩皆饱而思者。”
——李世民
“李家军”在统一全国的过程中，大小阵仗打过无数次，而每次李世民统兵出征都能做到与三军将士同甘共苦，并在战斗中身先士卒，冲杀在前，这极大地鼓舞了三军士气，使得“李家军”战无不克，攻无不胜。武德初年，唐军对刘武周一战，就是典型的一例。
唐在灭掉西秦以后，便一面计取凉州，消灭李轨势力，一面积极准备东取洛阳。武德元年（618年）十二月，以秦王世民为太尉，使持节、陕东道大行台，蒲州、河北诸府兵马并受节度。武德二年（619年）正月，又令世民镇朝邑长春宫，以图东进。然而，突厥与梁师都、刘武周等突然联兵人寇，于是唐便转而开始北征之战。
刘武周是河间景城（今河北省交河县东北）人，其父时迁居于马邑（今山西省朔县）。他参加过进攻高丽的战争，因军功授建节校尉。回到马邑后为鹰扬府校尉。义宁元年（617年）二月，杀马邑太守王仁恭，自称太守，并得兵万余人，于是起兵叛隋，并“遣使附于突厥”。三月，突厥立武周为定扬可汗，刘武周便自称皇帝。至武二年三月，在突厥的支持下，南侵并州。四月，大将宋金刚率兵2万侵并州，驻军于黄蛇岭，“又引突厥之众，兵锋甚盛”，袭破榆次县。齐王元吉抵挡不住，太原处于危机当中。五月，攻陷石州（今山西省离石县），继而又攻陷平遥（今山西省平遥县），对太原形成了战略包围。
六月初，武周又遣其将宋金刚率兵3万攻太原。刘武周则亲率大军攻陷介州（今山西省介休县）。唐高祖李渊派左武卫大将军姜宝谊与李仲文救太原，仲文率兵至鼠谷，中伏大败。二将被擒。李渊“以刘武周入寇为忧”，遂以后右仆射裴寂为晋州道引军总管，讨伐刘武周。九月，裴寂至介休，宋金刚据城相拒，裴寂驻军于度索原，金刚断绝水源，士卒渴乏，寂移营就水，金刚纵兵袭击，唐军溃败。裴寂一日一夜逃到晋州（今山西省临汾县）。这次战役后，晋州以北城镇全部陷落，唯有西河独存。裴寂上表谢罪，李渊又使其镇守蒲州。
刘武周进逼并州，齐王元吉夜间带着妻妾，弃太原奔还长安。太原陷落。李渊十分恼怒地说：“晋阳强兵数万，食支十年，兴王之基，一时弃之。”并因此要杀掉两位辅佐元吉的大臣。
十月，宋金刚攻陷浍州，军势甚锐，裴寂性怯无将帅之略，因驱赶虞、泰二州居民人城，并焚烧百姓的积聚，“民惊忧愁怨，皆思为盗”。结果激起了农民的反抗，以响应刘武周。
当时，原隋将壬行本据蒲坂，也与刘武周相应。于是关中大震。
在这种险恶形势之下，李渊作出了极其错误的决定，他主张：“贼势如此，难与争锋，宜弃大河以东，仅守关西而已。”