公元632年，穆罕默德在麦地那去世。因为穆罕默德没有儿子，所以公众推选了他的岳父，也是他忠实的信徒阿布·伯克尔继承了他的职位，称为“哈里发”（即“继承人”的意思）。
阿布刚一继位，就发生了内部叛乱。这年8月，以麦斯莱麦为首的哈尼法族纠集一支庞大的队伍向麦地那进攻。阿布在大兵压境的情况下，命令伊克里马率军前去镇压，结果遭到了惨败，叛乱的军队一直推进到叶麻麦的北部边境。
就在军心不振时刻，一个叫哈立德的军官向哈里发请战。哈立德过去有过战功，但因为年轻没有被重视。
有人愿意出战，哈里发当然高兴，于是下令叫哈立德统率麦地那和麦加的穆斯林军队前去迎敌。所谓“穆斯林”，意即“顺从者”的意思。当时伊斯兰教的信徒们在阿拉伯各地建立了许多穆斯林公社，实行政教合一的民主制。穆斯林的军队与叛军在阿克拉巴进行了一次决战。战斗开始不久，叛军依仗人多势众，不断猛攻，穆斯林的军队节节败退。前方麦地那队伍和麦加队伍都派人向哈立德要求增援。哈立德为了激发他们各自的斗志，于是对他们说：“你们现在只有各自作战，谁也增援不了你们，只有真主安拉保佑你们！”
使者回去以后，穆斯林的军队见无路可退，只能决一死战。此时，敌军的嚣张气焰已经激怒了麦地那人。他们拼死压住阵脚，勇猛冲杀过去，又迫使敌军后退。敌军被迫退守在一个果园里，指望在果园坚固的墙壁掩护下抵挡穆斯林的正面攻击，但是已无济于事。穆斯林攻入阵地后，开始了一场疯狂的屠杀，结果敌军无一生还，连叛军的首领麦斯莱麦本人也被杀身亡。
在这场战役中，仅麦地那的穆斯林就有700人战死，其中很多人都是穆罕默德的圣门弟子和忠实信徒。不过，付出这样的代价是值得的，经此一战，各地反对力量便一蹶不振，穆斯林的统治更加巩固了。更值得大书一笔的是，哈立德从此崭露头角，成为穆斯林的杰出将领，人们送他“安拉之剑”的美称。之后不久，阿拉伯人开始了他们的扩张政策。第二任哈里发欧默尔统治时期（634—644），阿拉伯对拜占廷的东罗马帝国和伊朗进行了大规模的征服战争。其中，夺取叙利亚的战争成了阿拉伯扩张的关键一役。
公元634年1月，哈立德率领2500名骑兵进攻东罗马最富裕的行省叙利亚。为了出其不意，哈立德采取了十分冒险的军事行动，亲自挑选了一支800人的骑兵，准备横越无人敢走的沙漠，直插叙利亚的首府大马士革，从后面包抄东罗马的军队。
这年3月，哈立德命令他的800精锐将士全部骑上骆驼出发，只带上少量驮着水囊的马匹跟随。骑着这些慢腾腾的骆驼，一个军官担心地问：“哈立德将军，我们安拉的将士向来是骑马作战的。现在，我们只带着这么几匹马，如何去打仗呢？”
“要想穿越沙漠只能靠骆驼。真主会保佑我们的。”哈立德胸有成竹地说。
八百骑兵骑着骆驼在沙漠上走了一上午，也看不到沙漠边缘。在炎热的气浪袭击下，士兵们开始焦燥起来。
“停止前进，原地休息。”哈立德大声命令道，“杀10匹骆驼当午餐，渴了喝马背上的水。”
“那马渴了喝什么呀！”
“笨蛋，骆驼胃里有的是水，不够马喝吗？”
问话的军官顿时恍然大悟。
5天以后，800人的队伍无一掉队地走出了沙漠。又走了13天，他们终于到了大马士革。东罗马军队对出其不意而至的阿拉伯军队惊呆了。他们丝毫也没有准备，一开始交战就被打得落花流水。城外的所有堡垒都被阿拉伯人摧毁，残兵败将只好躲进大马士革固守起来。立刻，阿拉伯人把大马士革围得水泄不通。
哈立德率领军队把大马士革围困三四个月之久，使城内处于一片混乱状态。由于断水断粮，许多老百姓生存不下来，纷纷跑到教会去找大主教。“想想办法吧！”人们央求道。有人甚至说：“其实，拜占廷人对我们叙利亚人也是横征暴敛，还要抓丁征粮，有什么好呢？我们不如把阿拉伯人放进来。”主教接受了百姓的建议。
第二天，大主教登上了大马士革的城头，对阿拉伯的军队说，他要直接和哈立德讲话。哈立德来了，大主教问：“阿拉伯人入城后，能给大马士革人什么保证？”哈立德听后回答说：“空口无凭，怕你们不会相信，你最好给我扔下纸笔来。”
城上扔下了纸和笔，哈立德就在马上疾书起来，然后裹上石头，把写好的和约扔回城上。大主教打开一看，只见上面写的是：“奉至仁至慈的真主之名，哈立德答应所有大马士革居民：阿拉伯人进城后一定保护你们的生命、财产和教堂。城墙全部保留，穆斯林决不进入你们的房屋。我们给予你们的是真主的保护，先知和哈里发的保护。只要你们缴人丁税，就一定会享受福利。”
人丁税是一人一年只缴一个第纳尔（当时钱币的单位）和一袋小麦。大马士革人民一看，这比东罗马人要的苛捐杂税少得多，所以都表示欢迎阿拉伯人进城。因为东罗马的军队已将大马士革的城门全都用石头堵死了，所以，大主教只得让人用梯子在夜晚把阿拉伯人接到城内。士兵们爬上城墙，进入城内，打开堵死的城门，阿拉伯的骑兵浩浩荡荡开进了大马士革。叙利亚的首府被阿拉伯人占领。
东罗马帝国的皇帝希拉克略不甘心丢掉叙利亚，立即调集20万大军，由他弟弟统领向大马士革扑来。
公元636年8月，交战的双方都把兵力集结在约旦河支流雅尔穆克河一带。此时阿拉伯的军队只有24000人。面对10倍于自己兵力的强敌，哈立德耍了一个心眼，他对雅尔穆克一带的居民们说：“现在我只能把你们的人丁税发还给你们了，因为我们没有能力和时间来保护你们，你们自己去想办法吧！”
“我们欢迎穆斯林！”当地居民一再表示，他们不能忍受东罗马人的盘剥，愿意与阿拉伯人一道捍卫他们的城市和家园。
哈立德得到当地百姓的支持，这才向东罗马军队攻击了。由于东罗马的军队多是抓来的奴隶，不堪一击。所以，阿拉伯人终于得胜了。东罗马军队被消灭7万人，他们的统帅也死于战场。就这样，阿拉伯人占领了叙利亚全境。之后，阿拉伯人不断向四处扩张。638年占领中东重镇耶路撒冷；642年占领整个伊朗；接着征服了北非大国埃及；645年征服利比亚。
公元661年，修葺一新的名城大马士革张灯结彩，阿拉伯帝国正式建立并在此建都了。原来，叙利亚和埃及的大贵族杀死了第四任哈里发阿里，拥立摩阿维亚为第五任哈里发，建立了倭马亚王朝，从此，哈里发成为世袭王朝之后，它又向东占领了喀尔布（今阿富汗）和撒马尔单（今中亚细亚一带），向西征服了迦太基（今北非的突尼斯）和西哥特（今西班牙）。
阿拉伯帝国是继罗马帝国之后的又一个横跨欧、亚、非三洲的大国。由于它是一个专崇伊斯兰教的大国，所以，随着他的开疆扩土，使伊斯兰教终于成为世界性的大教。