在第一次世界大战结束后，凡尔赛条约严格限制了德国军用武器的研制和生产，但是德国人在1920年代以后就秘密地发展军用武器，著名的毛瑟Kar。98k式卡宾枪就是那个时候开始研制的。Kar。98k成为二战期间产量最多的轻武器之一，从1935年开始服役，直到二战结束前都是纳粹德军的制式步枪。
德国陆军在1929年和1930年初期正式对采用7.9mm口径的毛瑟标准型步枪进行测试，但这个测试并不是由毛瑟公司提供1924年样式的标准型步枪步枪，而是把现有的98b式卡宾枪的枪管缩短到600mm。这种缩短的98b被证实比其他型号的便携性更好，尤其是它的下弯式拉机柄和安装在左侧的背带环。于是它被推荐采用，并被称为Karabiner 98k，简称Kar。98k、K98k或直接简称为98k。
注意，数字“98”之前的“K”是代表卡宾枪的大写字母，而数字之后的小写字母“k”是kurz（短）的意思，表示它比98b式卡宾枪更短。这就是为什么这支1米长的步枪被称为“短卡宾枪”的原因了（注：正确的写法必须注意前后字母的大小写）。普通的Kar。98k的代号是Adalbert，安装ZF41瞄准镜的Kar。98k-ZF41其代号则为Adalbert b。在1944年开始，Kar。98k的代号改为Dauerwelle。
虽然被推荐采用，但直到1935年6月希特勒实施军队重建计划前，Kar。98k式短卡宾枪仍然没被正式定型或采用。在1933年，毛瑟公司推出新的下弯拉机枪标准型步枪，因为它的机匣上打上了一个毛瑟的旗帜商标，因此现在的收藏家们通常称这种1933年的标准型步枪为“旗帜毛瑟”（banner Mauser）。除了正式名称外，这种1933型的标准型步枪与98k式短卡宾枪基本相同。这种短步枪宣称是提供“德国邮电部”（Deutsche Reichspost）使用的，但事实上许多新枪都是直接交到纳粹党手上。
德国陆军是在1935年6月21日正式宣布采用98k式卡宾枪的，不过在1934年，毛瑟公司和苏尔的绍尔公司（J。P。Sauer＆Sohn）就已经开始按各自设计的Kar。98b卡宾枪的缩短型进行小批量试产，毛瑟的枪型和绍尔的枪型各采用不同的枪管护箍来固定枪管，经过对比试验发现毛瑟公司的设计更可靠，因此毛瑟公司的枪型被指定为Kar。98k式卡宾枪的标准样式。
Kar。98k式短卡宾枪与Kar。98b式卡宾枪的结构是完全相同的，只是Kar。98k的长度较短。Kar。98k式卡宾枪的机匣左侧打上了“Mod。98”的标记，在战争后期生产的枪型则是把这个标记打在机匣环上。此外在机匣环上还打上了由数字和文字组成的生产商识别代码。
例如：“K”表示1934年，而“G”表示1935年，“S/42K”的标记表示该枪是在1934年由毛瑟公司生产的，而“S/147/G”则表示为1935年绍尔公司的产品。在1935年至1945年间还有许多其他生产承包商负责生产Kar。98k式卡宾枪，如果是由两个承包商共同生产的产品，则生产商代码会是由一条斜线隔开的两个代码。还有有一些Kar。98k式卡宾枪是在集中营生产的。
在Kar。98k式短卡宾枪被正式采用后，大量原有的Kar。98b式卡宾枪和Gew。98式步枪被送到工厂转换成Kar。98k式卡宾枪，这批步枪机匣上的原有标记无法抹去，但在主要的金属部件上都打上Waffenamt（武器局）的接收标记。还有一些由原有步枪改装过来的枪型被打上了纳粹党卫军的骷髅图案和“SS”的古日耳曼鲁内文字标记。剩下许多没有改装的旧长步枪型则交给警察使用。
Kar。98k采用弧形表尺，“V”形缺口式照门。准星是大麦粒式（倒“V”形），在一些枪上安装有可拆卸的半圆形准星护圈。准星可以调整风偏，表尺从100米到2，000米可调，每100米一个增量。不过使用机械瞄具时的有效射程实际上大约只有500米左右，如果装上瞄准镜时，有效射程可以增至900米左右。
原本在98式步枪上有两个安装在枪托底部的背带扣环，而Kar。98k式短卡宾枪则与98b式卡宾枪一样，只在前托左侧有一个扣环，枪托两侧各有一个用于穿背带的开口来取代原来枪托底部的扣环。在第二次世界大战前的枪托和护木都是胡桃木，但这种木材很快就短缺起来，因此，大多数的98k式卡宾枪是采用层压式枪托和薄山毛榉木材加酚醛树脂的护木，这导致重量稍有增加，并且加大了生产难度，但胶合板更坚固，抗湿气和抗弯曲性能都比实心胡桃木或山毛榉要好。
Kar。98k式卡宾枪的刺刀就是从Gew。98式步枪的长刺刀缩短而来的，全长380mm，刃长240mm，刀刃上有出血槽，德国型的刀柄上有斜向防滑纹，但其他国家生产的刺刀则没有防滑纹。最初的98k刺刀配有金属制的硬刀鞘，但后来改为皮制软刀鞘。Kar。98k式卡宾枪可以在枪管前安装上枪榴弹发射器，并配套有枪榴弹瞄准具等附件，可抛射人员杀伤榴弹或破甲弹。这些配件在不使用时可以装在一个皮制的携行袋内，挂在士兵腰带的左侧携带。
在战争中，为了加速生产Kar。98k式卡宾枪以满足前线的大量需要，步枪本身作了许多改变来简化生产工艺、降低生产难度，例如钢制枪托底板由机加改为铸造，弧形表尺内侧的刻度被取消，滑动式照门后侧的形状由斜角改为直角，扳机护圈、弹仓壳体、托弹板、弹仓底板、枪管护箍等等都改用冲压钢件，枪机上的泄气孔由长形改为圆形。枪托中原本有一个横贯枪托的金属套管，在分解发射机构时用来容纳击针的，后来被改为直接在枪托底板侧面开孔。
进一步简化工艺的结果是取消了容纳拉机柄的枪托凹槽，把固定枪管护箍的螺杆改为木制品，托底板改为冲压件，金属部件用磷酸盐处理代替原来的烤蓝，在一些后期型号中还使用了固定的照门。到了1944年，除了狙击型外，甚至直接用滑膛枪管来免去生产膛线的工序。而刺刀卡笋在战争后期已经取消了，同时还取消了通条，改用拉绳子的枪膛刷。
二战开始时，德国国防军已经装备了约277万支98k，在战争期间又有754万支98k交付部队（包括了12万支狙击型）。其中空军约有92万支，海军约有19万支，党卫军也有6万多支。从1935年到1945年，Kar。98k式短卡宾枪的总产量有一千多万支。
但只有第二次世界大战前所生产的Kar。98k的质量是最好的，随着战争的进程，98k式卡宾枪在加速生产后，生产工艺和质量都下降了，在战争头几年里，简化型的Kar。98k还算是符合军用标准的，但到了战争后期生产的Kar。98k质量越来越差。
在1940年毛瑟公司参与了为德国军队研制新型半自动步枪的竞争，但沃尔特公司的样枪击败了毛瑟公司的样枪，被德国军队正式命名为Gewehr 43（G43），但由于G43推出时间太迟，而且德国的生产能力越来越弱，因此简化型的Kar。98k仍然在大量生产和装备部队。
Kar。98k式卡宾枪在二战中不算是一种性能突出的武器，当时美国的M1伽兰德和苏联的SVT采用自动装填技术而大大提高了武器的射速，而即使与同类的武器相比较，前端闭锁的毛瑟式枪机也不如后端闭锁的李-恩菲尔德式枪机速度快，使用Kar。98k的射手必须移动整只手臂来抛壳和上膛，而使用SMLE步枪的射手只需活动腕关节就能实现。
所以Kar。98k的实际射速只有10发/分钟，而SMLE的射速却达到15发/分钟。比98k慢的步枪只有莫辛-纳甘，而98k的射击精度也比不上SMLE或莫辛-纳甘等同类步枪，甚至半自动的M1伽兰德都打得比它准。但Kar。98k毕竟不是烧火棍，凭着可靠的枪机和良好射击精度，在灼热的北非沙漠和寒冷的俄罗斯冬季都证明了Kar。98k卡宾枪的存在价值。而且凭着“毛瑟”这个响亮的名字，使得这种落后武器在战争结束后被许多盟军士兵带回家去收藏或者卖给其他收藏家。
另外，还有大量的98k在战后被法国、东德、挪威、丹麦、捷克、南斯拉夫等国家翻修和继续使用，在朝鲜战争、1956年的第二次中东战争和后来的越南战争中，98k仍在战场上作战。现在，98k式卡宾枪作为一种经典的二战武器，仍然受到枪械爱好者的欢迎，并用于收藏、射击运动或狩猎。