张作霖，字雨亭，辽宁海城人，生于光绪元年（1875），原籍直隶（河北）河间府大城县。张作霖幼时就很无赖，邻里的小孩都怕他。其父张有财是个游手好闲之徒。先是开了一个小杂货铺，收入甚微。后来小杂货铺倒闭，整天赌博吸鸦片。因欠人家赌债，被仇家债主害死。留下三子（张作泰、张作孚，张作霖）二女，那年张作霖13岁。
张作霖本来没钱念书，但是有一位好心的老师帮助了他。这位老师名叫杨景镇，那时教私塾。有一天，他看到窗外有一个小孩偷偷听他讲课。好奇地叫进来一问，小孩答道：“我叫张作霖，我愿意念书，家穷，上不起学，因此常在这里偷听。”杨先生感到这个小孩想读书识字是好事，就免费让他上学，还赠给他纸笔。这时的张作霖已经是13岁了。就这样，张作霖读了一段私塾。在这里，他打下了初步的文化基础。这在他的一生中是十分重要的。张作霖知道感恩，他后来当了民国陆军第二十七师师长，不忘旧谊，特地请杨景镇到沈阳来，在家里开设了私塾馆。张学良就曾跟他读书。
其父死后，家庭生活更加困难，没有办法，其母王氏只得带着4个孩子投奔到镇安县（黑山县）小黑山附近二道沟娘家。娘家生活也是非常困难，又添了五张嘴，简直没法继续生活下去了。张作霖不能指望家里了，只有到社会上混饭吃。
清末的中国是一片混乱，东北地区尤甚。清朝政被沙俄强行割去中国领土一百五十多万平方公里，仍不满足，继续觊觎中国东北的广袤土地；中国甲午战败，日本魔爪也深入中国东北；而地方官吏更是横征暴敛，百姓不堪忍受。一时间，土匪蜂起，啸聚山林，打家劫舍，百姓生活更加痛苦了。
张作霖由于小时候就受到父亲不良影响，也爱赌博。开始时，他靠卖烧饼赚点钱，可是很快就输光了。他的母亲让他改学木匠，他也想学点手艺养家糊口，可是那时候的学徒挨打挨骂，干脏活，受窝囊气，张作霖的性格哪受得了，没几天就和老板师傅打起来了，又失业了。后来跑到到高坎镇（今营口大石桥市高坎镇高坎村），在大车店给人家打杂。在这里接触了不少社会上的新鲜事，开阔了眼界。有时骡马病了，他就弄点草药给治，还真的就治好了。张作霖很聪明，一来二去，就成了兽医，这个行当他还比较喜欢。后来，他开了一个兽医店，以此为生。村子附近驻扎着淮军宋庆一部，不少兵弁常到张作霖这里给战马钉掌，一来二去便和他们熟识。张作霖看到当兵的生活不错，于是就投军了。
中日甲午战争爆发，张作霖随军到了朝鲜。在宋庆毅军马玉峎部赵德胜营，当了一名骑兵。那年他20岁。由于他“精于骑射”，“善于迎合”，不久升为哨长。但是好景不长，清军甲午战败，大军溃逃回国，张作霖也开了小差，回到黑山。毕竟是当过军官的人，乡里乡亲都不再小看他了。
1895年，他21岁时同赵家庙地主赵占元的二女儿赵春桂结婚。赵春桂是张作霖的原配夫人，是张首芳、张学良、张学铭的生母。张作霖是个不甘寂寞的人，在家里闲不住，又开始赌博、胡混、打架斗殴，甚至被关进大牢，幸亏被岳父花钱救出来。这次事件对他打击不小，于是狠狠心，竟然投身绿林，干起了土匪。几年下来，出生入死，虽然交了不少朋友，但也未混出什么名堂。随着对社会底层的深入了解，张作霖也开始考虑今后的人生之路。
甲午战后的辽西是个三不管地区。散兵游勇成群，乞丐难民遍野。官府腐败，土匪横行，百姓的生命安全受到严重威胁。这种情况下，各地就相应地成立了一些自保的武装组织，名曰大团。这是一种介于土匪和正式民团之间的武装组织，名声较好。
1900年，张作霖由岳父赵占元的帮助，在赵家庙成立了一个大团，有二十多人，他当上了小头目，负责附近几个村子的治安。他负责的地区称为保险区。张作霖在保险区内很守规矩，不仅遵章守纪，而且维护治安。因此，在这个地区胡匪的骚扰得到遏制。张作霖也得到村人的称赞，他的声名由此鹊起。他管辖的范围逐渐扩大，达到二十多个村子。
在赵家庙的西北，有个大团，团主叫金寿山。金寿山收罗了一批地痞流氓，组成了一百多人的大团。大团的总部设在中安堡，其周围地区是他的保险区。金寿山在保险区内横行霸道，无恶不作，比胡匪还凶残。大团本来是保民的，可是金寿山却专门害民。百姓被逼得实在无法，就去请名声较好的张作霖帮忙。张作霖率众驱走了金寿山，占据了中安堡。他的部众得以增加，势力更大了。但是，金寿山在1901年腊月三十夜半偷袭了张作霖。张作霖携带妻女率众突围，逃到了姜家屯，继而又逃往八角台。在途中，身怀六甲的赵氏在马车上生下了一个男孩，这就是张学良。那天是１９０１年阴历四月十七日，阳历是１９０１年６月３日。
八角台（今属台安县）是个大集镇，商号有五十多家。本来张作霖是想从八角台借道投奔辽南的绿林冯德麟的，但是到了八角台，这四十多人就被留下了，借以保护地面。这都得益于张作霖的名声好，不扰民。商会会长张紫云对张作霖的名声早有耳闻，此次见面，看到张作霖北人南相，眉清目秀，且行止有矩，谈吐不俗，果然是名不虚传。就决心把他们留了下来。后来证明，这个决定是正确的。原来八角台的头目张景惠主动让贤，甘居副职，张作霖做了团练长，地方的绅商也表赞成。从此，张作霖就在八角台落了脚。这里也成了他的发家地。
1902年左右，社会秩序逐步稳定。这两年张作霖苦心经营他的武装，势力有所扩展。尽职尽责，起到了保境安民的作用。和当地绅商也相处融洽，得到他们的交口赞誉。但是，随着社会秩序的稳定，地方自治武装也就失去了存在的价值。按理张作霖的大团应予遣散，团民或回家务农，或进城经商。但八角台商会会长张紫云考虑到遣散这一武装，团民四散，可能危害地方。同时，他也和张作霖结下了友情，就想给他们找个出路。为此，张紫云同有关人商量，拟将这一武装交给政府，这个提议得到绅商的赞同。于是，他们向新民府知府增韫正式推荐张作霖，对张作霖大加赞扬。增韫知府接见了张作霖，张作霖以弟子身份行叩见礼，称增韫知府为老师。通过亲见和谈话，增韫感到张作霖是个温文尔雅之人，留下了很好的印象。他便命张作霖整理部武，将其带到新民听候点编。张作霖真是喜从天降。其实，张作霖深知经营民团不是长久之计。他早就想“改邪归正”，被政府收编。恰在此时，盛京将军增祺提出了“化私团为公团”的主张，作出了“化盗为良”的决定。适逢其时，增韫知府的报告得到了盛京将军增祺的批准。
张作霖急忙回到八角台，积极招兵买马，扩充队伍。因为他和增韫说了大话，吹嘘自己有一营人马，实际才有一百多人。当时准许他组建２５０人的队伍。他便乘机开展组编活动。他吸收了辽西一些小股匪帮，如义县的张作相、黑山县的薄振声等，都参加了进来。人数够了，他就率队到新民府接受点编，成立了新民府巡警前路游击马队，命张作霖为帮办（副营长），队伍仍驻八角台。第二年，即１９０３年７月，张作霖所部和新民街巡捕队合并为巡防马步游击队，计４８５人。其中，骑兵２哨，步兵３哨。张作霖为管带（营长），张景惠为帮办（副营长），中哨哨官由张作霖兼任，前哨哨官为张作相，左哨哨官为汤玉麟，右哨哨官为王立有，后哨哨官为赵五把什。哨官是连长。队伍亦移驻新民府，负责地方治安，并兼剿胡匪。就这样，张作霖由一个民团武装的头目摇身一变，而成为政府官军的军官了。这是他人生的一个重大转折。从此，依靠这支武装，他便开始一步一步实现自己的政治目标。
张作霖为人机敏，长于计谋。来到了新民府的生疏环境，他知道如何自处。他把争取增韫的信任摆在首位，投其所好，“馈以金钱”，执礼甚恭，服从命令，听从调遣。同时，笼络绅商，认真办事，约束部下，管理有方。这就深得知府增韫的赏识，被倚为不可或缺的左膀右臂。他又略施手腕，挤走了新民府的巡警局长王奉廷。没费太大的劲儿，他就控制了新民府的军事实权。在这方面，他表现了巧于应对的能力。
这个能力还表现在残酷的日俄战争中。１９０４年２月，在我国东北爆发了日俄战争。两个列强在我国东北展开厮杀。清政府竟然宣布辽河以东为战区，以西为中立区。战争打响，哪还管什么中立区。日俄匪军烧杀淫掠，无恶不作。土匪蜂起，百姓遭殃。处在辽西的新民府是个重镇，张作霖除了要维护境内的治安外，还在盘算如何增强自己的实力。他的原则是谁给我好处，我就帮助谁。一开始，俄军强大，他就接受俄军的枪械和金钱，帮助俄军。后曾被日军俘虏，差点处死。被释放后，他又同日军签订誓约，“立誓援助日本军”。１９０５年日俄战后，他的部队不但没受损失，反而扩编为３个营。在日俄两大帝国主义战争夹缝中生存的张作霖，充分显示了处理复杂问题的能力。因政声颇佳，１９０６年张作霖又升官了。新任盛京将军赵尔巽和新任新民府知府沈金鉴下令，将张作霖的部队由３个营扩编为５个营，张作霖当上了统管５个营的统带（团长）。
成了官军的张作霖对为害地方的胡匪十分痛恨，极力剿杀。在他的连年痛剿下，辽西的小股胡匪或被招抚，或被剿灭。就连党羽千余的大股悍匪田玉本也被张作霖部击毙，其徒众星散，百姓称快。
但是，还有一个势力庞大的土匪杜立三最难对付。杜立三盘踞在辽中县青麻坎，官军拿他无法。他自称马上皇帝。在他盘踞的地方，随意封官许愿，老百姓见他称之为杜大人。实际上，他已经造成了割据之势。盛京将军赵尔巽曾下令“严密访拿”，几次派兵进剿，但都败下阵来。１９０７年清政府在东北建立行省，任命徐世昌为东三省总督。徐世昌为了除掉这个心头之患，特派智谋之士知县殷鸿寿到新民府，去协助张作霖剿灭杜立三。
对杜立三是强攻还是智取，他们进行了仔细的商讨。杜立三自诩为马上皇帝，马上功夫了得。能双手使枪，弹无虚发。且城池坚固，徒众凶顽，关卡林立，防备极严。如像以前那样派兵强攻，恐师劳无功，难以奏效。因此，决定智取。他们设了一计。张作霖派人到辽中县送上一封贺信，祝贺杜立三被奉天省招抚，当上了大官，官位比张作霖还高。让杜立三速到新民府来面谒省里的招抚大员，以便到奉天向徐世昌总督致谢。杜立三非常警觉，不敢贸然行动。同他母亲和兄弟商量。他们也认为到新民风险很大，凶多吉少，都不主张他去。
此计落空。张作霖没有灰心，又生一计。他想到了黑山秀才杜泮林。杜泮林是张作霖的义父。张作霖在中安堡当保险队头目时，同绅士杜泮林结下交情，来往密切，关系甚笃。张作霖知道杜立三拜认杜泮林为同族叔，对其言听计从，十分尊重。张作霖就想打杜泮林的主意。他和殷鸿寿密谋，用杜泮林引诱杜立三上钩。
张作霖特地亲自到黑山把杜泮林接到新民府，并把他引见给省城大员殷鸿寿，以证明确实是省里招抚，并非虚构。又在新民街上，为杜泮林另设招待处，请杜泮林在招待处稍事休息，候杜立三来到之后，一同晋省。秀才杜泮林是老实人，不知是计，就给杜立三写了一封亲笔信，言辞恳切，感情真挚。有“游侠非终身之事，梁山岂久居之区；一经招安，不仅出人头地，亦且耀祖荣家”等语。
杜立三本来疑信参半，犹豫不定。突然得到他素来景仰的族叔的亲笔信，便疑念顿消，决定前往。于是，他在１９０７年６月６日仅率１３人，作为随身护卫，由宋庆濂带领，奔向新民府，接受封官去了。他哪里知道此去是有去无回了。张作霖为了不出意外，事先做了周密布置。杜立三只身赴会，十分警惕。在晋见委员殷鸿寿时，他坐在背靠墙壁面对诸人的位置，同时两手插入兜内，握住枪柄，观察动静，以应突变。谈话完毕，殷高声喊道：“送客！”杜起身告辞，殷送至里屋门口，杜转身请殷“留步”时，刹那间，突被汤玉麟等几个壮汉按倒，下了双枪，死死捆住。事不宜迟，当晚就把杜立三在新民府西门外枪决了。其实，在这之前，张作霖早已派张景惠率大队人马，绕道台安八角台，做好进击杜立三老巢的准备。得到处决杜立三的消息后，张景惠等迅速出击杜立三的老巢。群龙无首，他的老巢辽中县青麻坎，被一举端掉。除掉了杜立三，扫除了奉天当局的心腹大患，至此辽西匪患遂绝，人心称快。
杜立三这个多年啃不动的硬骨头，让张作霖轻而易举地剔除了。他采用的是智取的谋略。这里显示了张作霖的过人的智慧。得此消息，总督徐世昌喜出望外，上报清廷，为张作霖请奖。清廷除赏银五千两外，将张作霖升为奉天巡防营前路统领（旅长），管辖马步５营。其他还有中路孙烈臣、左路冯德麟、右路马龙潭、后路吴俊升等４路统领。张作霖成为东北旧军５个举足轻重的武装力量之一，势力更加壮大了。
１９０８年，徐世昌把剿匪得力的张作霖调到辽宁西北部的通辽、洮南一带，去剿除被沙俄收买的蒙古叛匪。据有关人记载：“洮南一带系干燥的草原，草有一二尺高，一望无边。夏日蚊虫甚多，大者如蜜蜂，叮人很厉害。”“虽在夏天，都得用棉花把头包上，否则寸步难行。狼群更多，一群就是十几条。当时队里的通信人员（当时叫做跑拨子的）往往被狼吃掉，剩下马跑回来……蒙古军队都是一个人乘两匹马，骑一匹，备一匹，力量足，跑得也快。以上种种，都是蒙军优于汉军的地方，所以张作霖清剿蒙匪不是一件容易的事情。”
洮南一带是广阔无垠的大草原，是蒙匪活动的根据地。他们熟悉地形，了解民情，精于骑射，出没无常。他们行踪无定，多用奇袭，打了就跑，渺无踪迹。其中，有几股大的蒙匪，如白音大赉、牙仟、陶克陶胡等，都“扰害边疆，至数年之久，此剿彼窜，滋蔓难除，国家视为巨寇”。
这些“巨寇”不除，国家不得稳定，百姓不得安宁。张作霖当此重任，开始并不顺利。后来，他采用了强攻和智取两手策略，派人打入蒙匪内部，取得情报，而逐渐扭转了劣局。１９０９年，徐世昌看到张作霖的兵力不足，便给他扩编，增强他的实力。把５个营扩编为７个营，又将驻扎在洮南的孙烈臣部划归张作霖部。这样张作霖的部队增至３５００人，成为东北的一支劲旅。
张作霖是个很知道感恩的人。受到东三省总督徐世昌如此青睐、如此器重，他剿匪更加努力。同时，他也在不断地总结剿匪的经验教训，摸索出一套可行的规律。他本人也吃苦耐劳，身先士卒。因此，又经过年余苦战，终于将白音大赉击毙，生擒牙仟，并打败了陶克陶胡。后来追击陶克陶胡８００里，一直将陶克陶胡赶到俄国。危害东北边疆多年的蒙患解除了，打击了蒙古分裂主义分子的嚣张气焰，维护了国家的统一和民族的团结，张作霖此功是不可没的。这一阶段他可以说是忠心耿耿、勤勤恳恳、任劳任怨，手下一班弟兄也是出生入死，爬冰卧雪，为将来的奉系集团打下了坚实的基础。