就在这年年底，广东政府大本营军政部开办陆军讲武学堂，由程潜主持，秘密前往湖南招生。蔡申熙决心投笔从戎，与好友叶龙等相约一道去广州报考。1924年初，他与左权、张际春、李隆光、叶龙、邓文仪、李才霞、何元准等8人，从家乡出发踏上了去广州的路程。那时，粤汉铁路从株洲到韶关一段还不能通行，湖广又濒于战争状态，他们便从岳阳乘轮船，经武汉，绕道上海，然后由海路到达广州，于2月底进入讲武堂。
这年5月，黄埔军校成立，讲武堂奉命与之合并，蔡申熙随之编入黄埔军校第一期第六队学习。黄埔军校是在中国共产党和共产国际帮助下建立起来的新式学校，它一扫旧军队的习气，而充满了新鲜空气。蔡申熙在黄埔学校里听周恩来、恽代英等共产党人讲课，很受启发；与陈赓、许继慎、王尔琢、蒋先云等进步同学交往甚密，思想进步很快。就在1924年秋，蔡申熙加入了中国共产党。从此，他在党的教育领导下，走上了为共产主义事业而奋斗的道路。
1924年11月底，蔡申熙从黄埔军校第一期毕业。在此之前，蔡申熙参加了平定广州商团叛乱的战斗。毕业后，他被分配到黄埔军校教导团任下级军官。
1925年2月，蔡申熙随教导团参加平定陈炯明叛乱的第一次东征，经历了夺淡水，攻平山，大战棉湖、河婆，争夺兴宁、梅县等战役。6月，回师广州，参加了平定滇桂军阀杨希闵、刘震寰叛乱的战斗。7月初，黄埔教导团编为国民革命军第一军，蔡申熙被编在第一师任营长。10月，他参加了第二次东征讨伐陈炯明的惠州战役。
1926年3月，蒋介石制造了中山舰事件，排挤国民革命军第一军中的共产党，蔡申熙被迫退出第一军，到国民革命军第四军第十二师张发奎部任营长。
7月，广东国民政府誓师北伐，蔡申熙在西路战场上，配合第四军先遣部队叶挺独立团作战，参加过汀泗桥、贺胜桥战役。
1927年4月，蒋介石在上海发动了四一二反革命政变。汪精卫在武汉也发出了一系列反动训令，压制工农运动，革命形势日趋紧张。在这种情况下，蔡申熙按照党的指示离开部队，返回湖南，到农村去从事发动群众、武装群众的工作。离开武汉时，他把自己弄到的三支短枪藏在一个小皮箱里，带在身边，坐上人力车，准备出城。
到了城门口，被岗哨拦住去路，吆喝着要来检查皮箱，蔡申熙故作恼怒地指着哨兵的鼻子训斥道：“怎么？瞎了眼！对上级军官这样不礼貌。我是师部参谋，有急事出城，延误公事，你有几个脑袋？”哨兵一时懵了，连忙立正，行军礼。蔡申熙就这样从容地出城去了。
蔡申熙到了衡阳不久，长沙发生马日事变。许克祥及湖南反动派发布“清乡”命令，大肆屠杀共产党人和革命群众，三湘大地陷入白色恐怖之中。为了坚决反抗反动派的反动统治，蔡申熙集合刚刚组织起来的农民自卫军去攻打长沙城，途中遭遇叛军，蔡申熙率领农民自卫军与强敌浴血鏖战，终因寡不敌众而失败，队伍也溃散了。
6月，蔡申熙奉命调赴武汉，到由贺龙的国民革命独立第十五师扩编成的第二十军第二师任团长。
7月中旬，我党准备趁汪精卫“讨蒋”的时机发动武装起义。叶挺的第十一军第二十四师和贺龙的第二十军受命分别从武汉、鄂东一带开赴九江，然后向南昌集中。
1927年8月1日凌晨2时，南昌起义爆发，经过4个多小时的激烈战斗，南昌解放。在起义中，作为一位团指挥员的蔡申熙，还不满21岁。他趁着夜色发动攻击，一举拿下了设在“顺直会馆”的敌卫戍司令部，迫使敌军缴械投降。
8月3日，起义军主动撤离南昌，南下广东，蔡申熙随军行动。下旬，起义军进至瑞金西南的会昌和赣粤两省的交界——筠门岭，受到敌黄绍竑、钱大钧部十几个团的阻击，展开激战。我军奋勇前进，前赴后继，终于打败敌军，攻入会昌城。但是，筠门岭仍被敌军控制着，我军无法由此打入广东，便折入闽西长汀整顿。此后，蔡申熙调任叶挺部第十一军第二十四师任参谋长。
9月中旬，起义部队翻越武夷山，沿闽粤边界继续南下进入广东境内，出敌不意地占领了大埔、松口和三河坝地区，一部分兵力留守，蔡申熙则随主力继续向潮汕地区前进，这是第一次分兵。9月23、24日，起义军占领潮、汕，又留守了部分兵力，只剩下第十一军第二十四师和第二十军的第一、二两师总共不足6000人，向揭阳进发，这是第二次分兵。两次分兵后，起义军兵力大为减弱。9月下旬和10月初，起义军在汤坑、揭阳等地遇到数倍于我的敌人重兵的围攻，起义军顽强冲杀，但久战不克，遭到失败，损失惨重。蔡申熙左冲右突，杀出重围，却只集合了少数几个人，辗转到了广州。
到广州后，蔡申熙通过叶剑英的关系，与其他人一道派到新编的警卫团工作，充实了警卫团中国共产党的力量，并积极准备广州起义。
1927年12月11日，广州起义爆发。当天上午，广州苏维埃政府宣告成立，苏兆征为主席(由张太雷代理)，蔡申熙为广州市公安局局长。广州起义的枪声，震惊了反动派。国民党新军阀在帝国主义战舰的炮火掩护下，向广州疯狂反扑。蔡申熙和战友们经三天三夜的浴血奋战，方得以杀出重围，损失惨重，起义归于失败。
蔡申熙撤离广州后，转战于汕头一带，终因人地生疏，与组织失去联系，无法开展活动。他急于想找到党中央，接受新的战斗任务。然而，党中央自汪精卫在武汉发动七一五反革命政变后，已转入地下，八七会议是在汉口秘密召开的，随后党中央便迁到上海去了。蔡申熙决心冲破一切艰难险阻，找到党中央。为了筹措经费，他又不顾白色恐怖的危险，返回广州城，去找当年自己在讲武堂和黄埔军校的同学兼同乡邓文仪。此时，邓文仪已是国民党的高级军官。他见到蔡申熙发长面瘦，衣服破烂不堪的样子，颇为惊讶，说道：“哎呀！老同学，你怎么弄得这么狼狈？”
“我嘛，从来不计较个人生活，但目前经济上确实有点困难。”蔡申熙回答。
“有困难，为什么不早点儿来找我？我们是同乡、同学，用不着客气嘛。”说罢，即进去拿出几十块钱给蔡申熙。
接着，邓文仪装出一副同情的腔调说：“你呀，就不该当共产党人。共产党破坏了国民革命，闹得自己都无法立脚，你还是趁早回头吧。”
蔡申熙一听，大怒道：“共产党不谋私，不篡权，忠实执行孙中山的三大政策，当共产党人有什么不好？！是谁破坏了国民革命，自有公论。”他顿了一下，又说：“承你顾念旧交，慷慨解囊，但是，大丈夫不受‘嗟来之食’。”
话语铿锵，掷地有声，他将几十块钱往桌上一甩，转身就走。走到门口，又猛回头指着邓文仪警告说：“如果你敢把我暗杀了，你的脑袋也要掉在广州街头！”转身扬长而去。
这时，蔡申熙又想起了曾在国民革命军第一军共过事，此时已升任第四军副军长的薛岳，薛岳见蔡申熙主动来找到，便想借机软化他的革命斗志，见面后，对蔡申熙是殷勤有加。隔了一天，薛岳才转入正题对他说：“申熙，我知道你是个热血青年，有理想，有事业心。但现时是国民党当权，共产党成不了气候了。如果你不愿在国民党军队干的话，我可以资助你去日本留学。”
蔡申熙知道这些人与自己志向不同，并不想与他争辩。只是眼下急需一笔资助去寻找党中央，便虚与委蛇一番。薛岳以为他有意妥协，很高兴地拿出几百块大洋给他。蔡申熙拿到钱后，当天就前往武汉。
到了武汉，蔡申熙才知道党中央自八七会议后已迁入上海。这时，湖北省委正在策划武汉三镇的旧历年关暴动，准备在武昌、汉口、汉阳组织三个军，他便留下参与暴动的招兵工作。暴动原定腊月二十三晚“祭灶”放鞭炮时举行，不料，起事前一天，暴动计划被敌人查获，起义被迫取消。敌人开始大肆搜捕，蔡申熙便离开武汉赶赴上海。1928年春，蔡申熙终于在上海找到了党中央，他被分配在周恩来主持的党的军事委员会工作。
上海是半殖民地中国社会的缩影，此地龙蛇混杂，加以各派反动势力之间的争夺，使得党开展地下工作具有某些有利条件。但是，上海又是反动统治的中心，军警巡捕，特务坐探无处不在，也给党的地下活动带来种种困难。在这样的环境下做地下工作无疑是充满挑战性的，蔡申熙在上海的工作得心应手，显示出他是一位机智灵活的无畏战士。
一次，在上海的一家大饭店，蔡申熙正在楼上的雅座主持党的地下工作会议，突然闯进一群国民党稽查人员，他们发现这批人很可疑，遂上前不断盘问。蔡申熙急中生智，想到有个熟人在国民党上海驻军中当官，便操着官腔说：“你们要干什么？我是驻沪党军参谋长，在这里商量要事，不要大水冲了龙王庙。”
稽查人员将信将疑，伸后拿起桌上的话筒，查明确有其人，便放下话筒，满脸陪笑地说：“对不起！误会，误会。”连忙退了出去。
大家悬着的一颗心这才放了下来，蔡申熙则赶紧叫大家转移。果然不出所料，稽查人员伙同反动军警又返了回来，但扑了个空。
还有一次，在上海一家大旅社的扶梯上，蔡申熙碰见黄埔军校的同学、国民党高级军官胡宗南。胡宗南以为他是流落到此，想动员他投向国民党，寒暄数语之后，见他衣着素旧，便从随身皮包里拿出两块银元，并嘱咐他快点搬到一块儿去住。蔡申熙也装出一副遇到知音的样子，欣然接受胡的“美意”，并煞有介事地问清住址，只说明回去收拾一下东西就马上去。蔡申熙迅速离开后，秘密地回到机关，将银元交给组织，而胡宗南却再也没有见到这位同学。
刘伯承后来回忆道：“在第二次国内革命战争时期，我与蔡申熙同志在周恩来同志主持的军事委员会之下工作。他给我的印象是：忠诚勇敢，工作认真。”高度评价了蔡申熙在这段时间的工作。
党中央委派蔡申熙到江西主持军事工作，他策动罗炳辉起义，巩固了东固根据地。在鄂东南，他创建了红十五军，红十五军与红一军合并为红四军，在反“围剿”中击退了敌人的数次进攻，巩固了红色根据地，扩大了红军。
1928年，蔡申熙由党中央派到江西，任中共江西省委军委书记。在江西期间蔡申熙主要从事秘密军事工作，发展革命力量，配合湘鄂赣边的武装斗争。12月，经党组织介绍蔡申熙与曾广澜结为夫妻。
南昌这座古城曾是蒋介石企图另立中央、培植党羽的大本营，南昌起义失败后，敌人对革命的力量进行了大肆清洗，党的组织因此遭到严重破坏。开展革命的地下活动，困难重重。蔡申熙凭着对党的无限忠诚和对反动派的满腔仇恨，在险恶的环境下和敌人展开了顽强的斗争。他不仅在城市里努力发展党的地下组织，而且在广大农村进行了有效的兵运工作。罗炳辉在赣西南的起义，蔡申熙就是主要策动人之一。
1929年春，罗炳辉当了赣西重镇吉安的靖卫大队长，他的一系列具有“革命”倾向的做法引起了中共赣西特委和江西省委的注意。7月，党派赵醒吾争取罗炳辉起义。随后，蔡申熙也以江西省委军事巡视员的身份，多次赴吉安做罗炳辉的工作，并作进一步考察，罗炳辉经蔡申熙及当时赣西南特委书记刘士奇等介绍入党。10月底，罗炳辉接江西省委密信，率领靖卫团1000余人在吉安起义，加入工农红军，编为江西红军独立第五团，罗炳辉后来成为我军的着名军事家。
同年，军阀鲁涤平就任江西省政府主席。鲁涤平在蒋介石的命令下，疯狂地破坏中共江西省委。他们侦知蔡申熙是中共江西省委书记，便千方百计地想抓到他，以向蒋介石邀功，南昌街头到处贴满了通缉令。面对敌人的白色高压，蔡申熙毫不畏惧，他同敌人斗智斗勇，多次巧妙地躲过搜捕，敌人见奈何不了蔡申熙，便派人到醴陵抓走了他的老父亲，以此相要挟。
父亲被敌人抓走后，蔡申熙异常痛苦。他不知道敌人会用什么恶毒的方法折磨年迈的父亲，妻子曾广澜也十分担心，要他赶快找党组织想办法营救。然而蔡申熙却用平静的语气安慰妻子说：“我的父亲了解我，我也了解我的父亲，为了革命，他老人家会忍受一切的。”他坚信，反动派的阴谋不会得逞。
由于蔡申熙的身份已经暴露，不宜再留在南昌，党改派他去东固革命根据地担任游击队第一路总指挥。由于身无分文，临行前，妻子将珍藏的银首饰拿去换了20多元钱，作为路费。然后，他匆匆告别即将临产的妻子，踏上了新的战斗征程。
东固革命根据地，是江西地方党委于1927年底经过武装暴动而创建起来的。东固位于吉安的东南部，距吉安市120余里，整个根据地以东固圩为中心，方圆30余里，四周是绵延不绝的崇山峻岭。根据地势极为险要，且处于吉安、永丰、兴国三县边界，远离县城，反动统治力量较为薄弱，革命活动所及影响周围数县。在蔡申熙的领导下，这里先后建立了江西红军第二、三、四团，后来与罗炳辉的第五团合并，成立了红六军(后改红三军)。这支部队与井冈山革命根据地的斗争相呼应，所以，当时的群众说：“上有井冈山，下有东固山。”
蔡申熙在东固革命根据地一方面加强部队建设，一方面发动群众进行土地革命。为了配合湘赣边的反“围剿”，11月间，他带领队伍西渡赣江，出其不意地打下国民党军队进攻湘赣革命根据地的重要基地峡江县，大量补充了红军所需物资。蔡申熙在完成预定任务后，即迅速组织队伍撤退，这时，敌人开始了疯狂的反扑。蔡申熙身先士卒，率领部队且战且退。当他最后一个撤出阵地时，遇到一位身负重伤的战士。他不顾敌人正在穷追猛打，迅速地背起那位战士往前跑，直到摆脱了敌人，才喘了口气，精疲力竭地停下来。负伤战士这才发现冒死把自己从火线上救下来的竟是总指挥蔡申熙，禁不住眼泪夺眶而出。
峡江战斗结束不久，上海党中央通知蔡申熙去开会。会后，蔡申熙服从组织安排留在党中央军事委员会工作。
1930年6月，中央军委在武汉成立办事处，党调蔡申熙赴武汉中央军委长江办事处工作。8月1日，中共中央长江局重组，项英任书记，任弼时任组织部长，朱瑞任秘书，蔡申熙任军事部部长。那时，蒋、冯、阎中原大战正酣，为了利用这一时机，壮大根据地和红军的力量，8月底，党组织派蔡申熙赴鄂东南接替柯来康(即柯庆施)的工作，负责指挥阳新、大冶和蕲(春)、黄(梅)、广(济)地区的武装斗争。
离开武汉时，蔡申熙与曾广澜化装成国民党军官夫妇骗过了反动军警的检查。同行的还有国民党武汉军官学校的6位学生，他们在蔡申熙的教育影响下也走上了革命的道路。