当时，清政府渴望改革旧式军队，建立新式军队。1895年初，清政府派官员到小站练兵，这支新军名为"定武军"。后来，李鸿章、荣禄向朝廷保荐说："请诣派袁世凯督练新军，现先设定武十营，步队三千人，炮队一千人，马队二百五十人，工程队五百人，步队两千人，马队二百五十人，共七千人。"袁世凯接管了定武军，改名为新建陆军。袁世凯运用新建陆军，培植势力，成为仅次于李鸿章的实力派人物。
袁世凯缺乏军事知识，急需军事人才。荫昌向他推荐了冯国璋、段祺瑞、王士珍等人。
袁世凯在陆军中，开设了步兵学堂、炮兵学堂和工兵学堂。冯国璋担任步兵学堂监督兼任总办，段祺瑞担任炮兵学堂监督兼任统带，王士珍担任讲武堂总教习兼任统带，他们号称"北洋三杰"，王士珍外号"龙"、段祺瑞外号"虎"、冯国璋外号"狗"。
袁世凯根据西式军队，进行训练。他把新军扩充为一万二千人，以步队为主，炮队为辅，马队巡护，工程队供临时调遣。
袁世凯对张之洞说："练兵看起来很复杂，其实就是要练成"绝对服从命令"，服从就拿钱，不服从就吃刀。"袁世凯送给部下金钱、地位和美女。
袁世凯让士兵完全效忠自己，经常给他们宣讲升官发财的言论，编成了一首《劝兵歌》："为子当尽孝，为臣当尽忠。朝廷出利借国债，不惜重金来养兵......打仗真奋勇，命不该死自然生......你若常记此等话，必然就把头目升；要是全然不经意，轻打重杀不容情。"
发饷银时袁世凯亲自监督，严禁官员克扣，以此来换取士兵们的好感，士兵们只效忠袁世凯而不效忠皇帝。
袁世凯凭借强大的新式陆军，成为我国近代史上的大人物。1897年7月，袁世凯升任直隶按察使，专管练兵。
甲午战争后，以光绪帝为首的维新派和以慈禧太后为首的守旧派展开了斗争，袁世凯取得了康有为和光绪帝的信任。袁世凯看到光绪帝手中无权，维新派都是喜欢空谈的书生，而慈禧太后的心腹遍布全国。
随着形势的发展，袁世凯向荣禄告密。1898年9月21日，慈禧太后赶回皇宫，把光绪帝幽禁于瀛台，下令捕杀维新派。袁世凯对维新人士的捕杀十分卖力，有一首三言歌谣说："六君子，头颅送，袁项城，顶子红，卖同党，邀奇功。康与梁，在梦中，不知他，是枭雄。"1899年1月，慈禧允许袁世凯在西苑门内骑马。6月，升袁为工部右侍郎。
1899年6月30日，袁世凯指挥武卫右军（新军）和地方勇丁团练对义和团进行屠杀，将十万之众的拳民瓦解了。