集庆战役后，冯国用、冯胜、胡大海、常遇春、丁德兴、胡德济等人又参加了平定镇江、丹阳(今安徽当涂小丹阳镇)、徽州(今安徽歙县)、宣城(今属安徽)、婺州(治今浙江金华)、诸暨、绍兴、衢州、处州(今浙江丽水)等集庆以外江南各元朝据点的战斗。如胡大海、丁德兴于至正十七年(1357年)夏四月从朱元璋破宣城，元璋因大海骁勇多智，命他与副判院邓愈守之。秋七月，胡大海与丁德兴败元将八思尔不花，拔徽州，晋爵为万户。不久又败企图收复徽州的元朝苗将杨完者十余万兵马，赢得徽州保卫战的胜利。
至正十八年(1358年)三月，胡大海又与邓愈、李文忠等攻拔建德(今属浙江)。为进一步攻取婺州，胡大海向邓愈献计说，兰溪(今属浙江)为婺州右臂，离严州(治今浙江建德东北)颇近，如果引兵下之，“婺入我掌中矣！”被邓愈采纳。十二月，朱元璋亲率大军攻婺州不下，胡大海推荐说客王宗显入婺城劝降，随后发起进攻。胡大海养子胡德济迎战元将石宜孙车师手梅花门，大败元军，擒其将季弥章，由是知名。顺利攻下婺州、严州后，胡大海因功升任佥书行枢密院事。次年春正月，胡大海又攻下诸暨、绍兴等地。此时，张士诚大将吕珍乘机围诸暨，大海回救，败之。四月，随朱元璋攻略上述江南各地的冯国用突然病卒军中，年仅36岁。冯国用是朱元璋的主要谋士之一，“厥功甚伟”，他的去世，是朱元璋的重大损失，因此，“太祖(朱元璋)哭之恸”。至洪武三年(1370年)，朱元璋念其功，追封为郢国公，“肖像功臣庙，位第八”。
第二，帮助朱元璋西征陈友谅，消除来自长江上游的威胁。
陈友谅，沔阳(今属湖北)渔民。至正十一年(1351年)随布贩出身的罗田(今属湖北)人徐寿辉等在蕲州(今湖北蕲春)起义，隶徐寿辉所属倪文俊部，驻兵黄州(治今湖北黄冈)。至正十七年(1357年)九月间，倪文俊阴谋杀害徐寿辉未果，自汉阳逃奔黄州。陈友谅杀死倪文俊，吞并其部。十八年初，与天完政权太师赵普胜合兵，先后攻占皖、赣、浙、闽大片地区。旋又杀赵普胜。十九年底，迫徐寿辉迁都江州(今江西九江)，自称汉王。二十年五月又杀徐寿辉，自称皇帝，改元大义，建立汉国。同年闰五月，陈友谅在“其将士皆离心，且政令不一”（《明太祖实录》卷九。）的不利情况下，率水陆大军数十万，并联合割据江、浙一带的张士诚，企图东西夹击应天府，消灭朱元璋。面对敌强我弱的形势，朱元璋一面接受刘基建议，在应天府城西北的龙湾设伏，诱敌深入；一面分兵攻信州(治今江西上饶)，以牵制敌人。
在龙湾担任伏兵主力的是常遇春、冯胜、丁德兴等回回将领所率帐前五翼军三万人。当陈友谅军逼近龙湾石灰山时，常遇春、冯胜攻其中坚，大破之，乘势追奔逐北，收复被占据的采石、太平(今安徽当涂)，迫使陈友谅逃回江州。此战以常遇春功最大。攻取和坚守信州，牵制陈友谅的是回回将领胡大海父子所部人马。胡大海克服军粮不足等困难，先攻下信州，继而修筑城防，加强守卫，击败进扰的陈友谅部将李道明，有力地支援了主力部队在应天府一带的作战。胡德济因功升任行枢密院同佥，驻守信州，大海则因功升任江南行省参知政事，屯戍东南重镇婺州。
二十二年初，胡大海不幸被所部降将蒋英(苗族)阴谋击杀，同时遇害的有其子胡关住和郎中王恺等人。朱元璋闻讯，急派使者前往悼念，赠光禄大夫，追封越国公，谥武庄，肖像功臣庙，配享太庙。胡大海是朱元璋最重要的将领之一。他一生为人正直诚恳，处事慎重，常以不杀人，不掠妇女，不焚毁庐舍三事自戒，故所部纪律严明，为民称颂，又兼武艺精湛，善于用兵，故人称之为“万夫之雄”。
至正二十二年，已从江州奔武昌的陈友谅拥兵六十万，大舰数十艘，空国出击，企图与人少舰小的朱元璋决一雌雄，因而爆发了着名的鄱阳湖水战。陈友谅“惟恃巨舰，未知军心怯”（《明太祖实录》卷十二。），结果大败，他本人中流矢丧命，子陈理逃回武昌。朱元璋则在正确的作战方针指导下，依靠勇敢善战的常遇春、丁德兴等回回将士大获全畦。在鄱阳湖一带的康郎山之战中，常遇春、丁德兴二人表现得十分神勇。如汉军舟大据上游，形势对朱元璋不利，常遇春偕诸将大战，呼声动天地，无不以一当百。激战中，朱元璋座船搁浅，陈友谅骁将张定边来攻，情况十分危急。这时只见常遇春挥船来救，射伤张定边，并用自己的战船将朱元璋的座船撞离浅滩。随后与敌大战三日，纵火焚毁汉军船只无数，并力排众议，坚持连续作战，为彻底打败陈友谅起了关键作用，朱元璋十分称赞，以金帛土田给予重奖。
鄱阳湖之战后，常遇春、丁德兴等人又从朱元璋征武昌。次年正月，朱元璋留下常遇春等继续围攻武昌，自己回应天府即吴王位。不久陈理势穷投降，陈友谅割据政权终于覆灭，朱元璋来自长江中上游的威胁彻底解除。
第三，帮助朱元璋东征张士诚、方国珍、陈友定，平定江浙、福建地区。
张士诚，原名张九四，泰州(今江苏泰县)人，出身亭户，“以操舟运盐为业”。元至正十三年(1353年)与弟士义、士德、士信等18人率众万余起事，连克泰州、兴化、高邮(均属今江苏)，多次击败元军进攻。十四年正月，自称诚王，国号大周，年号天祜，都高邮。同年十一月，在高邮之役中大败元军，乘势攻占平江(今江苏苏州)、湖州(今浙江吴兴)、杭州等地区，并迁都平江，称吴王。从此以后，迅速蜕变为东南地区最大的封建割据势力，不思进取，加之生活腐化，举措失当，“由是上下乖疑，不肯用命”（《明太祖实录》卷二〇。），在与朱元璋的攻战中，屡屡败北，恼恨之余，转而投靠元朝，被封为太尉。
在攻灭长江中上游的陈友谅汉政权的第二年，即至正二十五年，朱元璋又对张士诚展开了大规模的进攻。是年，回回将领常遇春、冯胜、丁德兴等人随大将军徐达攻取泰州、高邮、淮安诸地。其中冯胜取得高邮大捷。先是，徐达攻高邮未下，又去增援宜兴，令冯胜督军续攻，谁知高邮守军诈降，冯胜不知是计，派指挥康泰等500余人入城，结果均被捕杀。朱元璋闻讯，怒召冯胜回京，并予杖责，再令其步行至高邮督战。冯胜奋力攻打，终于在徐达增援下克复高邮。随后又攻下淮安、安丰等多处张士诚据点。
次年五月，朱元璋发布平周檄文。八月，常遇春、冯胜、丁德兴等随大将军徐达率二十万人东征，先攻湖州、杭州等地，以剪除张士诚羽翼。在湖州旧馆(今浙江吴兴旧馆村)战役中，常遇春、丁德兴均立下了大功。如常遇春率军围攻湖州时，张士诚遣兵增援，屯于旧馆，出围城大军之后，常遇春见状，率奇兵更出援兵之后，连败之，“悉得旧馆兵，湖州遂下”。十一月进围平江。二十七年九月，平江城破，张士诚被俘送应天，自缢死，吴政权灭亡。常遇春因平吴之功进中书平章军国重事，封鄂国公，冯胜迁右都督。丁德兴大约在这场平吴之役后不久“卒于军”，赠都指挥使。洪武元年追封济国公，列祀功臣庙。有子丁忠，世袭龙江卫指挥使，子丁浩、丁昶，恩赐守墓；丁浩有子丁广，丁广有子丁富，世代食禄江宁。丁德兴为人沉勇威严，仁而有信，军纪严明，将略出众，是朱元璋最得力的将帅和明初主要功臣之一。
在张士诚灭亡的当月，朱元璋立即分兵向割据浙江沿海地区的方国珍和割据福建的陈友定发起进攻。
方国珍，浙江黄岩人，“世以贩盐浮海为业”。至正初年，有人告发他私通海盗，遭官军追捕，不得已亡命海上，聚众数千人，屡败官军，攻占庆元(今浙江宁波)、台州、温州等浙东沿海地区，逐渐发展成为元末拥有一定实力的封建割据力量。
陈友定，又名有定，字安国，福清(治今福建福清东南)人，出身农民。元末，汀州府判蔡公安募兵对抗红巾起义，陈友定应募加入，由巡检积功至参知政事、平章，占据福建八郡之地。他与方国珍一样，名为元臣，实为割据势力。
朱元璋所遣之兵分别迫降方国珍，俘杀陈友定，平定了浙东和福建。这其中也有沐英等回回将士的功劳。如元至正二十八年正月，沐英将兵自江西进攻，克分水关(位于今江西、福建两省交界处)，进入福建，不久，下崇安，破闵溪八寨，俘陈友定部将冯谷保等。朱元璋因沐英有平陈之功，命其仍复本姓(沐)，移镇福建建宁，节制福建邵武、延平、汀州三卫。洪武三年(1370年)迁大都督府佥事。次年进大都督同知，地位日益重要。
总而言之，由于回回人在上述军事活动中立下了赫赫战功，使朱元璋由小到大，由弱变强，终于推翻元朝，削平群雄，建立起了明王朝。
(二)北伐残元，廓清朔漠
张士诚覆灭后，朱元璋在南下福建平定陈友定的同时，又挥师北伐，以便灭亡元朝，完成统一大业。北伐之役大体上由三件大事组成：一是攻占元朝中央政府所在的大都(今北京)和上都(即开平，今内蒙古正蓝旗东)；二是消灭西北地区的元朝地方割据势力；三是平定东北的纳哈出以及北元其他势力。在这三件大事中，回回将士仍发挥着关键作用。
1.攻占大都和上都
元至正二十七年(1367年)十月，朱元璋以徐达为征虏大将军，常遇春为征虏副将军，冯胜为右都督，率军二十五万北伐中原。这时的元朝由于顺帝妥欢帖木儿信任喇嘛僧，迷恋天魔舞，朝夕宴饮，不理朝政；各级官吏拉帮结伙，争权夺利，杀伐不已，加之经过北方红巾军的反复打击，其拥有的军事力量已经十分虚弱了。北伐军遵照朱元璋制定的“先取山东，撤彼屏蔽，移兵两河，破其藩篱，拔潼关而守之，扼其户槛”，再克复元都，席卷云中、九原、关陇的战略方针（《明史》卷一，《太祖纪》。），仅用了三个多月即攻下山东诸州郡县。旋即攻入河南，占领汴梁(今河南开封)。
洪武元年(1368年)四月，明军在济水北岸同五万元军会战。常遇春单骑突入敌阵，元军二十余骑集中用槊来刺他，但他毫不畏惧，射杀敌前锋，大呼冲驰，麾下壮士从之，元军大溃。明军追奔50余里，降梁王阿鲁温。随后依次平定河南各郡邑。冯胜则率一支偏师夺取潼关，迫使关中元军主力李思齐、张思道等西逃，不能援救大都，从而为明军主力攻占大都创造了有利条件。
同年闰七月，常遇春从徐达由临清沿运河北上，连下德州、通州等地。二十八日，元顺帝放弃大都，携后妃、太子及百官奔上都。八月初二，徐、常二人率军入大都，改名为北平府，这实际上标志着元朝在中原统治的正式结束。
不久，逃至上都的元顺帝乘明军西进之机，命丞相也速率军南下攻通州，进扰北平地区。为彻底解除残元对北平的威胁，朱元璋又诏常遇春为主帅，会同副帅李文忠率步骑九万余人从北平出发，经会州(今辽宁平泉)，先败敌将汪文清于锦州，再败也速于全宁(今内蒙古翁牛特旗)，之后进攻大兴州(今河北大兴)，分千骑为八伏，尽俘守敌，乘胜进军上都，拔之。元顺帝再逃至漠北和林(今蒙古国哈尔和林)，常遇春追之数百里，获其宗王庆生及平章鼎住等以及将士万人，车万辆，马三万匹，牛五万头，子女宝货无数。
洪武三年(1370年)四月，元顺帝死于应昌(今内蒙古克什克腾达里诺尔西)，子爱猷识理达腊继位，率残部退守和林，史称北元。至明惠帝建文四年(1402年)鬼力赤杀坤帖木儿，元朝名实俱亡。
在元顺帝死去的第二年七月，常遇春自上都率师南归，行至柳河川(今河北龙关西)时，突然病卒，时年40岁。朱元璋闻讯，大为震惊，亲自出奠，赐葬钟山(今南京东郊)，赠翊运推诚宣德靖远功臣、开府仪同三司、上柱国、太保、中书右丞相，追封开平王，谥忠武，配享太庙，肖像功臣庙，位次徐达，居第二。史称，常遇春“沉鸷果敢，善抚士卒，摧锋陷阵，未偿败北，虽不习书史，用兵辄与古合”。朱元璋也说，“计其开拓之功，以十分言之，遇春居其七、八”（黄金：《皇明开国功臣录》卷一，《常遇春》。）。因此与徐达同称当时名将，是明朝最重要的开国功臣之一。
2.平定山西和西北诸地
徐达、常遇春所率北伐军主力在攻陷大都后，克复上都前，即已开始了平定山西和西北诸地的战役。当时，割据山西和西北一带的残元势力主要有扩廓帖木儿、李思齐、张思道、张良臣(思道弟)、孔兴、脱列伯等，其中扩廓帖木儿和李思齐最为凶悍。