回到高唐县后，第二年，即汉献帝初平二年，黄巾军残部来袭。刘关张手下只有几百人，抵挡不住潮水般涌来的黄巾军，只好实行战略转移，前往投靠刘备的老同学骑都尉（骑兵司令）、中郎将（皇帝的侍从武官）公孙瓒。他曾与刘备共同拜涿郡卢植为师。
公孙瓒倒也没亏待这个老同学和他的兄弟，任命刘备为“别部司马”，相当于独立师师长，而关羽、张飞则担任别部司马下面的军侯，相当于团长。
此时的公孙瓒正在安平（河北冀县）与冀州刺史韩馥作战。刚刚投靠了新主子，三兄弟自然要好好表现，在战斗中冲锋陷阵，立下战功。刘备被授予代理平原县令，不过，此时的平原还在袁绍的控制下，刘备得到的不过是一个虚职。
这年的十一月，活动在青州、徐州一带的黄巾军余部三十多万人攻入勃海郡，试图与另一支起义军“黑山军”会合。两军一旦合一，形势将急转直下。黄巾军是朝廷和各路诸侯共同的敌人，公孙瓒当然也不例外。
在安平打败韩馥之后，公孙瓒就谋划着携新胜之师阻击黄巾军。但公孙瓒过去的对手一直是鲜卑、乌丸等胡人，没和黄巾军交过手，心里没底。这时他自然想到了一直和黄巾军作战的刘关张三兄弟。
公孙瓒将三兄弟叫到自己的大帐中，落座之后，公孙瓒单刀直入地问道：“玄德，我想即日东下，迎战勃海的黄巾军，不知胜算如何？”
刘备为人沉稳，沉吟着没有马上回答，倒是站在他背后的关羽按捺不住了，上前一步，拱手答道：“将军，黄巾乱党虽然人多势众，但军中多老弱妇孺，实际上是一盘散沙。将军新胜，麾下将士身经百战、士气高昂，击之如铁拳之击沙垒，一触即溃，土崩瓦解。将军宜早作决断，从速发兵，犹豫不决就会错失战机。黄巾军与黑山军一旦会合，后患无穷。”
刘备意味深长地看了关羽一眼，对公孙瓒说：“云长所言正合我意，我愿为先锋，为将军效犬马之劳。”
公孙瓒以拳击掌，痛快地说：“好！我再给你五百精兵，你为前锋，我率大军为后继。功成之后，必当厚赏。”
增兵之后，刘关张手下已有上千士卒，次日开拔，迎击黄巾军。三天后，已经进抵东光（河北东光县）。
关羽带领几名随从前去查看敌情。一行人悄悄接近了黄巾军盘踞的村落，只见田野里的营帐一眼望不到头，人头攒动，杂乱无章。关羽等人穿的是便衣，不怕被察觉，一直向前移动，所以看得非常真切。黄巾军的营地就像一个超级大杂院，到处都是晾晒的衣服和堆放的杂物，有人操练，有人跑马，有人做饭，有人晾衣服，吵闹叫骂声此起彼伏。手执兵器的士兵和老弱妇孺混杂在一起。
关羽带着随从悄悄离开，回营向刘备报告。公孙瓒统率的两万步骑兵随后赶到，听了刘备汇报的敌情后，公孙瓒信心大增，传令全军，做好出击的准备。
这时，黄巾军方面也察觉了，几万青壮正在组织起来迎敌。公孙瓒仍以刘关张一部为先锋。他给刘备增加的五百人主要是乌丸等战斗力很强的胡骑，非常适合在阵前冲锋。
进攻的命令发出后，三兄弟身先士卒，向还没有完成集结的黄巾军阵营发起了冲锋。几百名骑兵咆哮着冲向敌营，卷起一片尘雾，步卒紧随其后。这支队伍就像尖刀一样插进了敌营的人山人海中，硬生生地撕开了一条口子。公孙瓒的两万步骑兵发出了一阵雷霆般的怒吼，一拥而上。
关羽和张飞紧跟在刘备身边，带领着手下的士卒来回冲击，将敌人的队伍切割得支离破碎。后面的大部队像洪水一样席卷过来，黄巾军根本没有招架之功，开始毫无组织地溃逃。
战局完全印证了关羽当初的判断——“一盘散沙，一触即溃”。这一仗打得酣畅淋漓，格外痛快，杀敌就如同砍瓜切菜一样简单，“斩首三万余级”。战场上到处都是无头尸体，无边无际，血流成溪。
残余的黄巾军和家属开始夺路而逃，丢下的辎重车就有几万辆。公孙瓒率军尾随其后，眼看着黄巾军要渡河逃跑，将士们都急于追赶，公孙瓒却叫了“暂停”。
这时，刘关张三兄弟就跟随在公孙瓒的身边，关羽不解地问：“将军为何不继续追击以扩大战果！”公孙瓒笑而不答。
过了一些时候，黄巾军余众渡河到一半的时候，公孙瓒下令出击，又屠杀了几万人，俘虏了七万多人，河水都被鲜血染红。
大战之后，刘备由代理平原县令升任平原国相。相是诸侯国的最高行政长官，和郡守是一个级别，刘备已经是省部级高官了。关羽和张飞也水涨船高，升任别部司马，已经是师级的中高级军官。遗憾的是，刘备的平原国相仍然是个虚职，地盘还在袁绍手里。
公孙瓒虽然打败了原冀州刺史韩馥，但冀州却被袁绍抢了去，袁绍继任冀州牧。公孙瓒当然不甘心，就借着打败黄巾军的浩大声势，挥师南进上百里，屯兵盘河（山东德州），向袁绍示威。公孙瓒与袁绍争霸的大幕拉开，而对于刘关张三兄弟来说，则是将刘备名下的平原国抢到手的过程。
随后，公孙瓒部又向西南推进到广宗界桥（河北威县东二十里的古清河上）。初平三年（公元192年）正月，公孙瓒与袁绍在界桥南二十里摆开架势厮杀。公孙瓒令步兵三万多人结成方阵，左右各安排五千骑兵为侧翼，并配置弓箭手，交叉射箭——左射右，右射左。仍以刘关张等人为先锋，自己居中指挥。但此时的公孙瓒由于连战连胜，志得意满，开始麻痹大意。
袁绍以麴义为先锋，自己率数万步兵结阵于后。麴义在凉州待过很长时间，所以熟悉羌族人的战法。他统率八百精兵在前，以一千张强弩为后盾。
公孙瓒见麴义只有几百人，也不加防备，命令刘关张等人发起冲锋。三兄弟带领本部的骑兵冲向麴义。麴义的士卒都伏于盾牌之下，等到敌人冲到几十步距离的时候，突然站起来，怒吼着迎击。而后面的一千张强弩并发，将刘关张的骑兵杀伤近半。
骑兵的攻势顿时被遏制住，而麴义的将士如狼似虎，猛扑上来，刘关张手下的士卒连同战马都被这种强大的声势震慑住，被杀得大败而归。麴义的这种战法颇似我们今天在荧幕上看到的罗马帝国军团的战术。
袁绍指挥大军乘胜发起攻击，公孙瓒全军溃败。第一回合的较量就此结束。这样的结果不但公孙瓒不服气，刘关张也心有不甘，刘备最大的心愿就是能有一块自己的地盘，把自己平原国相的职务落到实处，是必须实现的战略目标。
在刘关张的积极鼓动下，这年夏天，公孙瓒再次出师，兵锋直指平原国。两军在龙凑（山东德州北）相遇，隔河对峙。开战之前，公孙瓒召集众将商议破敌之策。这次作战的目的就是夺取刘备名下的平原国，所以刘关张是主力。
公孙瓒问道：“玄德可有破敌之法？”刘备是有备而来。在会前，关羽提出了一条诱敌之计，挑选一些老弱残兵列于阵前诱敌，等敌人渡河到一半的时候全军出击。公孙瓒在追击黄巾军的时候就采取过类似的办法。
刘备采纳了关羽的建议，把这个计划在会议上提了出来。公孙瓒听后，点头说：“就这么办！”
次日，公孙瓒派出了一批老弱残兵，在河岸上引诱敌人进攻，大军列阵于后，等待出击。或许是天意弄人，这些被当成炮灰的老弱残兵本来就心怀不满，再见到对岸的袁绍兵强马壮，就要渡河发动进攻，都被吓破了胆，一些人开始溃逃，其他人也跟着向后跑，不但没能完成诱敌的任务，反而把自家的阵脚给搞乱了。
刘关张带领士卒极力阻止这些逃兵，却无济于事。关羽怒发冲冠，连续斩杀了几名逃兵，仍然遏制不住溃逃的势头。袁绍趁机发动进攻，公孙瓒再次大败。
战后，刘备带着关羽、张飞向公孙瓒请罪。公孙瓒苦笑道：“玄德的计谋并没有什么不妥，一切都是天意，不必过于自责。”
公孙瓒退回幽州，派遣刘关张带领本部人马驻守故安（河北易县）。进驻故安之后，三兄弟立即着手加固城防，制造战具，防范敌人前来进攻。
不出所料，这年的秋天，袁绍派遣大将崔巨业领兵数万，进攻故安。而刘关张手下只有区区两三千人，众寡悬殊，形势危急。刘备一边派人向公孙瓒求援，一边与关羽、张飞备战迎敌，这将是一场恶仗。
崔巨业的大军进抵故安城下，将城团团围住。刘备安排关羽守城南，张飞守城北，自己居中指挥，带着几百人作为机动力量，随时支援。
关羽把属下的一千名士卒分配在不同的地方，自己来回巡视，督促防务。大战一触即发，气氛紧张得让人喘不过气来。晚上，关羽就在城墙上和衣而卧，尽管靠近一堆篝火，仍然冻得人睡不着。
次日，太阳刚刚升起来，进攻就开始了。敌人像潮水般涌向城墙。移动的箭楼逼近，箭如雨下，射杀了不少守卫的士兵；云梯搭上城墙，下面的人就像蚂蚁一样顺着梯子向上爬。关羽一边指挥士兵放箭，一边让人将开水、热油、硕大的木石抛下城去，尽可能地杀伤敌人，阻止他们登上城墙。大桶的油泼到城墙根，烫伤敌人之后，又用火箭引燃，烧得敌人鬼哭狼嚎。城墙周围变成了人间地狱，场面惨不忍睹。
攻防战从早晨进行到中午，敌人才停止了进攻。下午，又一轮进攻发动。关羽和将士们并肩作战，用弓箭射杀敌兵。但敌人实在太多，一些人已经爬上了城头，甚至翻入城墙。关羽抽出佩刀，一一斩杀攻上来的敌兵。
由于南城是敌人的主攻方向，形势危急，刘备带兵前来支援，才将敌人的攻势再一次遏制住。一天下来，关羽清点手下的士卒，已经伤亡近半，可见战事之惨烈。
崔巨业没有想到，一个小小的故安城竟然如此坚固，全军伤亡数千人还没有攻下来。他命人连夜制造抛石机，并彻夜向城内射火箭骚扰，让敌人为了救火而疲于奔命、人困马乏，以利次日攻城。同时，还安排士卒向城中挖掘地道，准备穿城而入、内外夹攻。
孰料，刘关张早有准备，沿着城墙内侧挖掘了一道深堑，地道一旦与沟堑挖通，立即将地道中的敌兵斩杀。关羽炼铁出身，早命人制造了很多风箱，预备了干柴，点燃后用风箱鼓风，将浓烟送进地道，不少敌兵来不及逃出地道，窒息而死。
敌人的抛石机威力很大，尽管城墙此前经过加固，坚固程度增加了，但经不住敌人抛石机的反复轰击，一些薄弱的地段发生了崩塌。好在城中早准备了坚固的木栅栏，遇到城墙崩塌的情况，随时以木栅栏堵塞。但一些巨石被抛入城内，还是砸死砸伤了不少人，大量的房屋被摧毁。由于刘关张三人准备充分，指挥有方，故安城在敌人的重重包围中巍然耸立。
城池久攻不下，公孙瓒的援军也越来越近，崔巨业只好引兵撤退。刘关张与公孙瓒会师，三万步骑兵狂奔一百二十里，在巨马水追上了崔巨业。
刘关张当仁不让，带领将士扑向正在渡河逃窜的袁军。钢刀闪闪，战马奔腾，两军在河岸上、河水中展开殊死搏斗。袁军攻故安不下，士气受挫，现在只顾逃命，根本无心作战，成了被公孙瓒和刘关张的将士追赶、捕杀的羔羊，抱头鼠窜，毫无还手之力。这一仗，足足斩杀了袁军七八千人。
紧接着，大军又长驱直入四百里，占领了平原国，刘备的平原国相终于名副其实，有了一块自己的地盘。从汉灵帝光和七年起兵以来，三兄弟经过近十年的奋战，才打出了一块地盘，大业草创的过程就是如此的艰难。
此后，公孙瓒派遣刘关张协助青州刺史田楷抵御袁绍。这时，赵云开始追随刘备，为刘备统率骑兵。刘关张先是在自己曾经任职的高唐驻扎，后来又前进到泰山一带，分别与袁绍的儿子袁谭和大将张郃对峙。战事胶着，从初平三年（公元192年）一直延续到初平四年（公元193年），双方的粮草都吃完了，连田野里的青草都被人啃光了，彼此都筋疲力尽，只好通过和亲的方式结束了这场旷日持久的战争。