红四方面军转移后，徐海东率部坚持鄂豫皖根据地斗争。面对省委要他攻打敌人设防严密的英山，徐海东毅然决定，长途奔袭太湖，威震安徽省省会安庆。
“肃反”尚在进行，“左”倾盲动路线还控制着党和军队，敌我斗争的形势却对我军越来越不利。自1932年9月份开始，蒋介石继续在苏区“围剿”并实行“三光”政策，红四方面军主力不得不向川陕地区转移。中央指示刘士奇、徐海东、郭述申组成鄂皖工作委员会，并成立了二十七军，徐海东任军长。
而徐海东这个新军长面临的首要问题是如何处置原跟随红四方面军转移而被敌人堵截留下的2万多名各级地方干部、群众和4000多名红军伤病员。在干部会议上，意见并不一致，不少人认为这是部队的包袱，要“甩”掉。
“不行！我们不能不管这些同志！”徐海东激动地说，“这些干部和群众在强敌进攻面前，没有动摇革命的信念，抛家别舍跟随部队进行艰难转移。群众对我们信任，我们不能打击群众的革命积极性，不能丢下不管。大家想想看，我们刚开始做群众工作，争取他们的信任是多难啊！现在把他们抛弃了，那我们的兵源哪来？我们的根据地到哪建？我们舍生忘死闹革命的目的是什么？不就是为了贫苦百姓吗！”有人争辩说：“那你说怎么办？除了分散他们没别的办法。”
徐海东非常生气说：“我虽然读书不多，但我知道古代不是有个刘皇叔领着五百老百姓逃难吗？他能得西蜀，成鼎立之势，不就是占人和吗？难道我们今天的共产党员、红军战士，连古代的刘皇叔还不如？”
徐海东识字不多，平时言语又少，但一激动起来，却振振有辞，以坚贞的党性，感染了在座的所有与会者，他一讲完，便没人作声了。于是徐海东当机立断：“凡是能走动的伤员，一律动员归队，不能走的，派人抬着；能分散的，分散，不能分散的，一律带上。要生一块儿生，要死一块儿死，就这样了。我带一团打掩护，你们保护伤员群众向南转移。”
从此不论行军如何艰苦，战斗如何激烈，徐海东始终不忘这些伤病员。行军途中，甚至把自己的马都让给伤员骑，深深赢得了战士们的钦佩。因此，不论形势如何恶劣，红二十七军始终上下团结，顽强战斗。
10月9日，红二十七军到达安徽省宿松县粟树嘴、昔家垄一带，遭敌第四十六师两个团的阻击。徐海东站在山头上，举着望远镜细细观察一遍，认为这一带地形对红军有利，当即向军领导建议，集中全军兵力，歼灭该敌。刘士奇、郭述申分析敌情后，决定由徐海东亲自率领第一团迂回敌人侧后袭击敌人，其他3个团从正面发起攻击。徐海东像往常一样脱光上衣，挥着手枪，身先士卒，率第一团冲了上去，很快攻占了制高点，切断了敌人的退路，其他各团也乘势发起猛烈攻击。骄横的敌人做梦也没有想到会遇到这样强大的红军，顿时慌了手脚，纷纷逃窜。激战4小时，歼敌1个团，俘敌副团长1名，缴获迫击炮2门，机枪8挺，步枪500多支，子弹4万多发。
敌“剿匪”总司令部本想抽调大部兵力西去追击红四方面军主力，只留少数兵力在两个月内就肃清了皖西北的“残匪”。部署尚未调整完，皖西北突然冒出个红二十七军，这使敌人大为吃惊，敌人只好放弃抽兵西去而集中兵力对付红二十七军。
这样，红二十七军虽然达到了牵制敌人的目的，但自身的压力也越来越大。敌人对红二十七军前堵后追，部队几乎是夜夜行军，日日苦战，险境丛生。11月6日晨，红二十七军转至安徽省霍山县磨子潭附近，准备向立煌县境内转移。不料，敌第三十二师九十四旅已抢先占据河西岸的大小山头，控制了叫黑虎尖的制高点，堵住红二十七军的去路。敌第四十七师也跟踪而至，占领了红二十七军来路上的两侧山头，切断了红二十七军的退路。红军被压在河川狭谷中，情况异常危急。
这是生死攸关的时刻，徐海东率领第一团冒着敌人密集的火力，向黑虎尖发起了攻击。
敌人原以为红二十七军被围困在河川狭谷中，已无生路，全歼在即，却万万没有想到红军会从黑虎尖打起，会如此迅速勇猛突围，猝不及防，纷纷溃退。红二十七军又一次化险为夷，全部突出了包围。
红二十七军像一条游龙，在敌人封锁线中穿来插去，先后转战至英山、罗田、蕲春、宿松、太湖、潜山、桐城、舒城、霍山、六安、商城、光山、立煌等十余县，行程约2000多公里，经历大小战斗数十次，歼敌近4000人，牵制了敌人5个多师的兵力。徐海东身先士卒，一次又一次力挽狂澜，挽救了鄂豫皖苏区的有生力量，有效地掩护了红四方面军主力的转移，“徐老虎”威名远扬，令敌人闻风丧胆。
11月24日，红二十七军到达湖北省黄安县七里坪附近。11月29日，根据中共鄂豫皖省委的决定，撤销了红二十七军番号，将根据地各红军主力团统一组织起来，重建红二十五军。1934年4月，徐海东升任红二十五军军长，原军长吴焕先改任政委。这年春，蒋介石对鄂豫皖革命根据地发动了第五次“围剿”。
巍巍的大别山，满天乌云，杀声四起。本来已经被分割成很小几块的鄂豫皖革命根据地，将要遭受更残酷的劫难，只有3000多人的红二十五军，将要经受更加严峻的考验。
7月初，敌人开始行动。7月16日，担负追击队任务的敌东北军第一一五师两个团已达河南省信阳县长岭岗一带。17日拂晓，徐海东率先头部队进至长岭岗南侧高地时，听见北边传来断断续续的“轰、轰”炮声。他举着望远镜一看，只见西面山坡上全是敌人，山梁上架着3门迫击炮，正盲目地向西射击。敌人戒备甚疏，还未发现红军。他又环顾四周，发现长岭岗是一条孤岭，地形狭窄，部队不好展开，而红军所处的位置十分有利。徐海东眼睛一亮，认为只要将敌前哨分队消灭，其后面的部队就无法展开，必然紊乱，红军乘势攻击，定能获胜。
徐海东决定打敌人个措手不及。一声令下，部队迅速展开。一个营攻击长岭岗西南边的敌人前哨，得手后迅即向敌纵深猛插；另两个团，分别从长岭岗左侧和右侧猛攻敌人。顿时，长岭岗枪声四起。“缴枪不杀！”“东北军弟兄们，快快投降！”呼喊声响成一遍，山呼谷应。
敌人只知道这一带有红军游击队，没有料到红军主力会突然出现。不等敌人弄清红军是从哪里杀来的，摆在长岭岗上的一个团，已被红军三面攻击，截成数块。敌人待在光秃秃的梁上，既无工事，又无险可守，进，进不得；退，退不了，不由得心慌意乱，乱作一团，或举手投降，或抱头逃窜。红军指战员则越战越勇，如虎扑羊，乘胜猛追，直捣敌人师部，不到3个小时就胜利结束战斗。
长岭岗战斗打胜后，徐海东领着红二十五军南下罗山、孝感交界的地区，声东击西，没等敌人靠近，就率部跳出了合围圈。8月下旬，又转战到商城、六安、英山间广大地区。敌人就像一只病猫，被徐海东这只老虎拖着鼻子牵来牵去，拖得精疲力尽，合围计划一次次落空。
8月下旬，红二十五军隐蔽地转进到英山县北部。为扩大红军政治影响，解决部队物资供应，省委决定红二十五军攻打英山县城。徐海东经过周密侦察，发现敌人早有准备，且城防工事坚固，难以攻克。徐海东冒着违抗省委决定的嫌疑，果断命令部队撤回，并向省委建议，放弃攻打英山县城。
省委领导对徐海东的行动很不理解，马上召开会议，讨论此事。会上，有人责问徐海东：“为什么不打？现在要扩大政治影响，应该打英山县城，擅自放弃是错误的！”
徐海东摇摇头，解释说：“这个英山城，就是打不得。城里敌人除有第四十七师一个主力团外，还有23个县民团，他们防守严密，碉堡坚固。我们仅侦察了一下，就伤亡了20多人。若冒险硬攻，必定要造成重大伤亡。”“打仗，哪有不伤亡的。”有人批评说，“只考虑伤亡大小，不从政治上着想，就是单纯军事观点，就是机会主义！即使伤亡几百人，能攻下英山县城，政治影响也是大的，也是值得的！”
“什么？用几百个指战员的鲜血和生命换一个英山城，值得嘛？”徐海东听了有人不顾惜指战员的生命，十分生气，两眼圆睁，大声反问。不等对方回答，他接着说：“决不能这么干！怕伤亡，消极避战，当然是错误的；但不顾指战员的生命，蛮打硬拼，那可是犯罪！打仗，就是要找时机。能打则打，不能打就不打。找机会，不能叫机会主义。不顾有没有胜利把握，冒死硬拼，可不是马克思主义！”
接着他话锋一转说：“一定要打个县城，搞批物资，那就奔袭太湖。”接着，他陈述了攻打太湖的理由：一来太湖县城是敌人后方，没有正规军，设防差，易攻取；二来太湖县城从前是府，物资多；三来太湖县城距安徽省府安庆近，攻下它政治影响比攻下英山县城还大。
“太湖离这儿200多里，舍近求远呀！”有人不赞成。“正因为离我们这儿远，敌人才想不到我们会去奔袭，才能出其不意，攻其不备。”徐海东胸有成竹地说。又经过一番讨论，省委采纳了他的意见。
9月3日17时，徐海东率红二十五军由英山县北部杨柳湾地区出发，夜行40多公里，4日凌晨，偷偷进至太湖县西北部回龙湾一带休息。下午又开始急行军60余公里，于午夜到达太湖县城，随即发起战斗。不出徐海东所料，守敌做梦也没有想到，红军会突然兵临城下。半夜里，枪声大作，许多敌人还没有爬出被窝，就当了红军的俘虏。天刚亮，红军就全部肃清了城里的敌人。缴获了大批布匹、药品等物资，红军仅伤亡4人。
红军攻下太湖城，震惊了敌人，鼓舞了群众，振奋了军心。不久，附近县的许多群众自动起来抗捐、抗税，开展分粮、分盐斗争。红二十五军乘机将部队分散到太湖、英山等地，进行群众工作。经一个多月的努力，恢复和开辟了部分根据地。至此，张学良三个月“围剿”计划彻底破产，他气愤至极：“徐海东哪里是老虎，简直就是只狐狸。”
1934年11月，率红二十五军整编为“中国工农红军北上抗日第二先遣队”，向鄂豫边作战略转移。整编中，徐海东提议，由程子华接替自己的军长职位。许多人替徐海东想不通，他却说：“没有共产党别说军长，恐怕村长我也当不上。”
1934年11月4日，徐海东接到中共鄂东北道委书记郑位三来信。信是写给中共鄂豫皖省委书记徐宝珊、红二十五军军长徐海东、政委吴焕先三人的。信中说：“中央派程子华带来了重要指示，请你们接信后，火速率部来鄂东。”
两年前，红四方面军主力离开鄂豫皖革命根据地后，孤军奋战的红二十五军和党中央的联络十分困难。徐海东早也盼，晚也盼，盼中央来指令，盼中央能来人。现在中央终于来人了，又带来了重要指示，真是双喜临门，他有说不出的高兴。可回鄂东要过四道敌人的封锁线，徐海东连夜研究了这次“苦行军”的最佳路线。
11月6日傍晚，徐海东率领红二十五军从立煌县葛藤山地区出发，日夜兼程，向西挺进。一路上，徐海东为及时准确掌握情况，适时指挥作战，总是将自己的指挥位置尽量靠前。7月拂晓，徐海东指挥前卫团，突袭汤泉池，顺利通过了从商城至麻城的第一道封锁线。当日下午，又突破了大柳树一带敌人两个团的堵击，通过了敌人的第二道封锁线。稍作休息，又连夜疾进，在白雀园以北通过了敌人自双柳树至新集(今新县县城)的第三道封锁线。随后，在仁和集和白雀园之间且战且走，强行通过敌人经营已久的潢(川)麻(城)公路封锁线。8日拂晓到达光山县东南扶山寨，进入鄂东北边缘。
两夜一天，红二十五军急行军200多公里，几次激战，突破四道封锁线，十分疲劳。军领导决定稍事休息，再继续前进。不料，11月10日8点钟左右，敌第一○七师、第一一七师各一部共4个团，从东面袭来；敌第四、第五“追剿”支队共6个团，从南面袭来，打算围歼红二十五军。
长征途中徐海东在甘肃陇东留影。红二十五军只有不足3000人，如果扶山寨制高点被敌攻占，那就会陷入包围，后果不堪设想。危急时刻，徐海东举着望远镜，细细观察着各路敌人动向，冷静地思考着这仗该怎么打。他仔细分析走、打、守可能出现的结果，认为只有主动出击，变被动为主动，将敌人各个击破，才能摆脱敌人，走得成。
“对，就用打恶狗的方法对付这批敌人！”徐海东攥了攥拳头，下了决心。徐海东的想法得到了吴焕先的赞同。“现在是敌强我弱，全面出击是不行的。”徐海东说，“必须防守与进攻相结合，先集中兵力打垮一路敌人，再转移兵力对付其他敌人。”
确定部署后，吴焕先到第七十四师师部亲自指挥第七十四师作战，随即各部开始行动。徐海东亲自率领第二二四团沿寨北山坡隐蔽地迂回到敌第一○七师侧后，突然向敌侧翼猛攻。第七十五师师部指挥第二二三团亦乘机反击。
指战员们看到徐海东又带队出击，士气大振，寨上寨下，杀声震天动地。敌人在红军三面夹击下，惊慌失措，一触即溃。战到黄昏，敌人全部被打垮，总计毙伤和俘获敌人约4000名，远远超过了红二十五军的总人数。
扶山寨战斗后，徐海东率红二十五军继续西进，走了一天一夜，于10日傍晚，到达河南省光山县西南部花山寨，与先期到达这里的郑位三、程子华等会合。
1934年11月11日，中共鄂豫皖省委在花山寨举行第14次常委会议。会议主要听取郑位三传达程子华带来的中央军委副主席周恩来的口头指示，讨论红二十五军实行战略转移问题。周副主席明确指示：省委要率红军主力作战略转移，建立新的根据地，以减轻鄂豫皖革命根据地的压力，同时使红军主力得到发展；红军主力转移时，需留下部分武装坚持游击战争，积极为恢复原有的革命根据地创造条件。
会议一致同意红二十五军转移至鄂豫边界的桐柏山区，同时红二十五军进行整编，对外称“中国工农红军北上抗日第二先遣队”，直辖4个团。讨论部队整编、安排程子华工作时，徐海东主动提议：“由程子华同志当军长，我当副军长。”“为什么？”大家听了感到很意外。徐海东望望大家，诚恳地说：“程子华同志进过黄埔军校武汉分校，参加过广州暴动和海陆丰斗争，领导过大冶暴动，又当过中央红军师长，文的、武的，都会比我这个粗人高明。由他当军长，对指挥作战，对部队发展壮大，会更有利。我不是怕挑重担，我是从对革命更有利方面着想。”与会人员听了徐海东一番诚恳的解释，认真地进行了讨论，采纳了徐海东的建议，同时补选程子华为省委常委。
徐海东改任副军长的消息一传到部队，很多人吃了一惊，不能理解，有的人私下悄悄地议论开了：“老军长怎么降了？犯了什么错误？”“该不是那个‘老三’咬了他一口？”指战员们所说的“三”，是指当时肃反中所谓潜入党内的反动组织“第三党”，大家怀疑有人诬告了徐海东。