《三国演义》里的关羽是擅使大刀的英雄，在《三国演义》第一回里，关云长的这口大刀便出场了。刘、关、张桃园结义之后，为干一番大事业召集人马，打造兵器，关云长打造的就是青龙偃月刀，又名冷艳锯，重八十二斤。此后，这口大刀在关云长神威赫赫、极富传奇色彩的一生中，一直伴随着他，发挥了巨大的作用。关云长斩华雄、战吕布用的是它，斩颜良、诛文丑用的是它，千山万水过五关斩六将靠的是它，古城会擂鼓斩蔡阳靠的也是它；再有著名的单刀赴会，关云长一口大刀在手，深入险境，威慑“江东群鼠”，使鲁肃的计谋破产，大刀更发挥了不可替代的作用……正因为《三国演义》里写了这么多和这口大刀相关的生动情节，所以后来的民众一想到关公，就会同时想到他的赤兔马和青龙偃月刀，于是后来就有了“关公门前舞大刀”这一俗语。
那么历史上关羽使用的武器真的是青龙偃月刀吗？不是。从《三国志·蜀书·关羽传》的记载来看，关羽的兵器并非大刀，倒很可能和张飞的兵器一样，是矛。《关羽传》中在记叙关羽杀颜良一战时说：“（关）羽望见（颜）良麾盖，策马刺良于万众之中。”这里用的是一个“刺”字，而“刺”，一般就是用来说矛，生活于东汉末年比关羽稍早的郑玄在为《周礼·考工记》作注时，说“刺兵，矛属”，意思就是“用来击刺的兵器，属于矛这一类”。所以从《关羽传》里用的这个“刺”字来看，关羽的兵器肯定不是刀，而是矛。在《三国志·吴书·鲁肃传》中倒是可以找到一个“刀”字，那就是鲁肃邀关羽谈判荆州的划分时，“各驻兵马百步上，但诸将军单刀俱会”。但这里的单刀是指佩刀，也不是关云长冲锋陷阵的兵器。再则说，大刀中“偃月刀”这一种类，三国时还并不存在，是在唐宋时才出现的，它的刀刃部分是半月形，所以叫做偃月刀；偃月就是下弦月。这种刀，主要是用来操练，以示威武雄壮，并非实战所用。关云长再有本事，也不可能舞动起几百年以后才出现的偃月刀。
既然上面已经提到关羽的青龙偃月刀是虚构出来的，那它又是如何一步一步出现在小说之中的呢？比较早地提到关公用刀的是粱陶宏景的《刀剑录》。《刀剑录》中记载说：“关某为先主所重，不惜身命，自采都山铁为二刀，铭曰‘万人’。及败，投之水中。”但这里的刀是在关羽追随着刘备，“不顾身命”地冲杀很久以后才打的，而且一打就是两把，所以很可能是佩刀。唐人郎君胄《壮缪侯庙别友人》一诗中有这样的句子：“将军秉天姿，义勇冠今昔。走马百战场，一剑万人敌。”宋人黄茂才《武安王赞》曰：“气盖世，勇而强。万众中，刺颜良。”宋无名氏《武成王庙从祀赞》曰：“剑气凌云，实曰虎臣。勇加一国，敌号万人。”到了元代，关羽用刀的说法开始在不同的作品中出现。元人郝经《重建庙记》曰：“跃马斩将万众中，侯印赐金还自封。横刀拜书去曹公，千古凛凛国士风。”之后在元杂剧中，关羽也是用刀。在公认的《三国演义》成书最重要的参考著作——《三国志平话》中，关羽也是用刀参加“三英战吕布”的：“第三日，吕布又搦战，众诸侯出寨，与吕布对阵。张飞出马持枪。张飞与吕布交战二十合，不分胜败。关公忿怒，纵马轮刀，二将战吕布。先主不忍，使双股剑，三骑战吕布，大败走，西北上虎牢关。”从这些资料分析，关羽使用的兵器从矛（戟）至剑，最后在刀上正式定型了。目前还不清楚青龙偃月刀之说是不是《三国演义》首创，但通过《三国演义》，青龙偃月刀和关羽已经是合二为一，密不可分了。
《三国演义》问世后，在明、清两代，围绕着关公这口大刀，还产生了不少趣闻轶事。明代包汝楫在《南中纪闻》中记载说，荆州南门十五里，有一地名就叫掇刀石，在这里有一座关帝庙，关公的大刀就插在庙中一块大石的石窍上。这口刀可以摇动，但就是没人能把它拔出来，据庙中僧人说，这口大刀足有一百八十斤重。刀长一丈四五尺，刀脊很厚，色泽苍青，看上去精雅雄壮。天启元年，一个姓张的总兵想把它取下来看看，祭拜之后，选了几十名壮汉，用尽各种办法还是没能将刀拔出，看样子这口刀还真有些神异之处。