这次夺枪斗争的成功，在南梁山区穷苦人民心中掀起了巨大波澜，他们明白：要翻身，只有夺取敌人的枪杆子，才能夺回被反动统治阶级夺走的一切。
那时，他们都住在梢林里，刘志丹白天把标语写好。他们黑夜下山去贴。一次旦八寨子6个团丁拿了6条枪来，这些人大烟瘾犯了，刚好杨培盛他们带着大烟土，就给这些人抽，到了晚上，这些人抽了大烟都睡着了，他们就把枪给提了，队伍很快发展到几十人。
刘志丹等人还用通俗诗的形式发出布告，进行宣传，道出当时人民起来革命的原因：
土豪劣绅加财东，
剥削穷人真个凶。
加以放账驴打滚。
卖儿卖女还不清。
要账手提棒棒子，
打人不分老和幼。
如今穷人要翻身，
大家团结来求生。
西北工农革命军，
他是咱们子弟兵。
贪官污吏都打倒，
我们要做主人翁，
建立苏维埃政权，
我们能过好光景。
早在1927年10月清涧起义失败后，唐澍、谢子长带领起义部队，向保安、庆阳一带转移。1928年1月，游击队到达南梁豹子川时，只剩19人，分散隐蔽到群众家中，寒冬腊月缺吃少穿，靠打野物和采集野果充饥，战士宁肯自己野外露宿，也不打扰老百姓，所到之处不拿群众一针一线，不动群众一草一木，吃了用了老百姓的东西照价付钱。给南梁一带老百姓留下了良好印象：打红旗的游击队真是好人的队伍！他们也听到过谢子长这样的宣传：“我们是共产党领导的队伍，时刻不忘老百姓，不论走到哪里都爱护你们，这就是我们革命的目的。”在南梁第一次树起了革命武装红旗，播下了革命火种，留下了革命影响。
刘志丹到南梁，老百姓知道这支队伍是为贫苦人打江山的。
“正月里来是新年，陕北出了个刘志丹，刘志丹来是清官，他带上队伍上横山，一心要共产。”——当年企盼好光景的陕北民谣，几乎把刘志丹视为救世的“圣人”，他代表了当地贫苦大众的利益。
一时间“跟上刘志丹闹共产”的口号传遍南梁山区，一批极度贫困的庄稼汉和放羊娃跟着他，把争取生存、温饱的希望寄托于他举起的红旗。
刘志丹在南梁山区播撒的革命火种，在南梁人民的心头燃烧，在南梁山区燃烧。等待着唤醒大地的春风。
无怪乎，斯诺在《西行漫记》中这样写道：
这里肯定地说，存在着早已成熟的施行变革的条件。这里肯定地说，存在着人民要起来反对的东西，即使他们还没有斗争的目标。因此，当红星在西北出现时，无怪乎有千千万万的人起来欢迎它，把它当做希望和自由的象征。
2．三道川兵变
1928年7月，中共陕西省委以“六大决议”为指针，认真总结经验教训，改变策略，做出了在地方军阀部队中开展“兵运”，争取兵权，准备起义的决议。号召共产党员到兵营中去，到士兵中去，学习军事，争取改造旧军队，积极准备起义。同时决定，派刘志丹任中共陕北特委军委书记。不久，谢子长也回到陕北，任军委委员，深入到国民党统治比较薄弱的陕北、陕甘宁边界地区，领导和开展“兵运”工作。
用“兵运”活动的方式来创建红军，这是刘志丹对当时全国普遍采用工农暴动方式创建红军思路的一种创新。
他为此进行了长达3年的不懈努力，历经险恶，几乎付出了生命的代价。
陕甘边境的地方杂牌军队多，民团多，土匪多，哥老会多。他们之间鱼龙混杂，良莠难分，既互相利用，互相依存，又互相矛盾。蒋介石、冯玉祥、阎锡山忙于中原大战，陕甘空虚，一些杂牌军乘机招兵买马，发展地方势力。
这一时期中共陕西省委曾多次强调要把加强白军中的士兵工作作为当时党的一项重要任务。
秋季，刘志丹回到陕北。1929年4月，陕北特委在榆林红石峡召开扩大会议，刘志丹传达了陕西省关于开展“兵运”工作的决议。并提出利用陕甘两省军阀扩充势力的机会动员党团员革命青年打入军阀部队，争取士兵，掌握兵权，发动起义，创建红军。
当时的陕北特委负责人杨国栋畏惧敌人的白色恐怖，反对开展“兵运”，以保存力量为借口，要党员都隐蔽起来停止活动。
会议经过争论做出决定，武装斗争的三种形式：白色的（即兵运工作，做国民党军队的工作）、灰色的（即改造工作，做绿林土匪的工作）、红色的（即革命武装，建立工农游击队），以白色工作为主，利用陕甘宁各地军阀扩充势力的机会，动员党团员和革命青年打入军阀部队，争取士兵群众；同时利用各种社会关系，做上层工作，争取掌握兵权，准备起义。在革命武装未建立之前，在地方军、民团、土匪、哥老会龙头大爷中，采取阶级分析方法，区别情况、灵活斗争，活动总称“兵运工作”。即通过亲戚、朋友、师生、同学、同乡等关系，派一些党团员和进步青年进入某些军队中挂名建军，秘密建立党的组织，宣传、教育、争取士兵群众和进步军官“借水养鱼”。一旦时机成熟，即举行武装起义。
1929年到1930年秋，陕北特委先后组织动员了刘志丹、谢子长、习仲勋、张东皎、高岗、贺晋年、王世泰、张秀山、高鹏飞等大批党员团员和进步青年，打人陕北高自清、杨庚午，陇东谭世麟，宁夏苏雨生的部队，以及杨琪等人的商贩队中，开展“兵运”活动。
1929年春，刘志丹与永宁山党支部负责人曹力如、王子宜共同谋划，在保安县（今志丹县），利用合法手段使曹力如、王子宜等同志先后打入国民党县政府民政科、教育科任科长，又逐个向教育界名人、开明绅士做工作，利用改选民团团总之机，挤走路仰之，选刘志丹为团总，曹力如为副团总，未发一弹把保安县民团变成了外白内红的革命武装，掌握了保安县民团的领导权。他们利用职权逮捕了好几个地主老财加以处决，这出于—个民团团长之手，是很怪诞的行为。
1930年，国民党宁夏驻军骑兵第四十一师苏雨生部，乘蒋、冯、阎中原大战之机扩军，刘志丹、谢子长带领一批中共党员、共青团员和进步青年，进入该部。谢子长任第十旅旅长，刘志丹为第八旅十六团副团长。此后，又利用各种关系在苏雨生部第八旅十五团成立了以中共党员张东皎为队长的学兵队，组织30名党团员和进步青年去学兵队学习，培养了一批军事干部。
正在苏雨生部队大发展时，五马（马鸿宾、马鸿逵、马步青、马步芳、马青宛）以优势的兵力击溃了苏部。苏雨生残部从宁夏溃退到下马关一带，后南下投靠了杨虎城。
刘志丹、谢子长脱离苏部来到庆阳县北部三道川（现属吴旗县），在陇东民团军谭世麟部挂名建军。
三道川位于陕甘边界，在甘肃华池，陕西定边县、保安县（今志丹县）的结合部，是陇东民团军总司令谭世麟的势力范围。
1930年春，谭世麟通过贿赂宋哲元取得旅长的头衔，并打出“保境安民”的旗号，做起独霸陇东的美梦。
谭世麟部急于招兵买马，扩充队伍，条件是按人数多少封官，拉来1连人给个连长，拉来1团人给个团长，并划防地，拨给养。他久闻刘志丹这个“黄埔牌”的声望，请他来为自己整编民团军。
刘志丹利用其父亲给的两枝枪和国民党保安县公安局长陈定邦给的13枝枪，又从保安县民团抽调了部分人马，寻找散落各地的党团员和革命同志，邀集马锡五、卢仲祥、刘兆庆、赵子实、薛应昌等一批党团员和贫苦农民，在金汤镇组建1个营，共百余人。五六月间，部队开赴三道川，编为谭部骑兵第六营，下辖2个连，分驻三道川张家沟门、白豹镇。
与此同时，谢子长派李力果、阎红彦、雷恩钧在宜川后湫天杨庚武部做工作，不久，将杨部周维祺营一百几十个人拉到三道川，驻齐家阳洼，编为骑兵第七营。
当时，同到三道川驻防的还有土匪出身的小军阀张廷芝，此人原为苏雨生十六团的团长，驻军平罗。平罗兵败后，张廷芝带领几十个人投靠谭世麟。
这些部队共同编为谭部直辖第三团。团部设在三道川的水泛
谭世麟为团长人选同刘志丹商量：“你们谁当团长好，张廷芝还是谢浩如（谢子长当时用名）？”刘志丹说：“张廷芝靠不住，吃谁的饭，砸谁的锅。”他推荐谢当团长，谭遂任命谢子长为团长，下辖三个营，一营营长周维祺（与阎红彦同母异父，谢子长派阎红彦与周维祺住在一起），二营营长刘志丹，三营营长张廷芝。
刘志丹、谢子长把各地被敌人打散的党员和革命力量集中起来，编入了部队，扩充了力量，准备秋季在三道川起义。
这时，甘肃省主席刘郁芬委任谭世麟为庆阳警备司令，并给了个骑兵旅的番号，谭世麟让所属部队去庆阳参加庆祝大会。经研究决定刘志丹和杨树荣（姜兆莹）带一营20名骑兵前去庆阳参加谭世麟晋升警备司令和骑兵旅长的庆祝会，并帮助其整训部队，襄赞军务。
谢子长领导三道川的部队进行训练，准备伺机发动兵变，建立革命武装。
刘志丹拿着介绍信，去见谭世麟，受到热烈欢迎，谭当面称赞刘志丹治军有方，才略过人。开会时，邀请刘志丹讲话，刘志丹的讲话激隋豪放，博得了会场的热烈掌声。
张廷芝投靠谭世麟纯粹是政治投机，目的是想乘机扩充自己的势力。在三道川，他看中了周维祺的人马，便用金钱（耍赌故意给输钱），许亲（把亲妹妹许给周维祺作老婆）为诱饵，收买了周维祺。周应张的要求，派三十多名骑兵去宁夏下马关接应张离开苏雨生时，留在了那里的部队。
这时，阎红彦在周维祺营中，他急于想找机会收编张廷芝的人马，便亲自带着39名骑兵随张去接部队。返回途中，张带队经盐池绕道安边。在井岳秀部骑兵团团长、张廷芝之父张鸿儒设的酒席宴上，张廷芝翻脸下了阎红彦的枪。只给阎红彦一些大烟，让回了安定。随后又在三道川缴了周营其余人员的械。
张廷芝吞并周营之后，又马上派兵袭击谢子长的团部和刘志丹的营部。一名战士听到消息来给谢子长报告，谢子长出门探询情况，张廷芝的骑兵已冲到眼前，幸好敌骑兵认不得谢子长，还以为这个穿着朴素衣服的是个老百姓，便喝道：“谢浩如在哪里？”谢子长随口答道：“在里边，快追，不然就跑了！”乘机跑下沟脱了险。
刘志丹的部队被打散。
马锡五、卢仲祥、刘约三、刘兆庆、陶尔曼被张廷芝队伍捉去，关押了3个多月。
兵运活动再次失败，史称此为“三道川事件”。
此时，刘志丹带着从庆阳领取的军用物资返回三道川，走到白豹川闻变，即改道永宁山。张廷芝派1个营追刘志丹，追到永宁山（保安县政府所在地），在曹力如、王子宜等人协助下，设计把追兵营长蔺世昌骗到山上，连吓带训斥一顿，蔺带兵退去，刘志丹摆脱了张廷芝部队的围追，从后山石崖吊着绳子下山，去绥德、米脂寻找陕北特委。途遇谢子长，遂结伴同往。
谢子长，又名德元，字浩如，1896年1月19日出生在陕西省安定县（今子长县）枣树坪一个农民家庭，先后在县城小学、西安省立一中、榆林中学读书。1922年秋天考入太原学兵团学习军事。1924年回安定县创办民团，任团总。1925年赴北京，加入中国共产党。1925年，中共北方区委派他回陕北进行革命活动。1927年他领导了北方最早的清涧起义，打开了陕西武装斗争的新局面。1928年参加震惊西北的渭华起义，失败后，任陕北特委军委委员，在陕西、甘肃、宁夏做兵运工作。
三道川建军失败，使刘志丹、谢子长等共产党人苦心建立起来的一点革命武装丧失殆尽，军运活动再次失败。
这次失败使他们从过去一系列失败的教训中清醒地认识到：要组建一支真正的独立的革命武装，不能只利用现成的军阀部队，更不能同像张廷芝那样的反动分子搞联合，而是要准备条件单独干。
3．打响武装斗争第一枪
1930年10月初，刘志丹参加了在绥德召开的陕北特委第五次扩大会议，会议决定，继续开展“兵运”，待条件成熟时，再举行兵变，建立红色武装。会上，成立了陕北总暴动行动委员会，谢子长、刘志丹分别任正副总指挥。刘志丹主动辞去特委军委书记职务，决心集中精力组织和领导陕甘边界的武装斗争。
不久刘志丹回到永宁山，与曹力如等商议建军事宜。他们召集三道川失散人员马锡五、刘约三、卢仲祥、王廷玉、马福吉等，并在永宁山民团抽调10多人，组建起一支革命队伍，群众称之为刘志丹游击队，在保安、安塞一带活动。
一天刘志丹同曹力如、王子宜等人正聚在一起研究消灭太白民团办法时，恰巧杨树荣从庆阳回到永宁山。带来谭世麟的口信，仍希望刘志丹担任其骑兵第六营营长，并要驻太白镇的陇东民团军第二十四营尽力协助。
原来，当初杨树荣参加完谭世麟的庆祝会，返回防地，行至半路时，刘志丹说：“你同其他同志从原路回去，我和卢连长回保安看一看党的活动情况。”杨树荣回到三道川的当晚，张廷芝兵变，跑出的战士给团部报告了情况。
那晚，下着蒙蒙细雨，天黑的伸手不见五指，道路泥泞，行走艰难，杨树荣人地生疏，一出门就跑散了，藏在一个山洞里，躲过了追兵。
东、南、北面都不能去，就向西走，天明后，到山梁上辨清方向，走到了华池县的元城子，又顺川而下。
到了庆阳，他把张廷芝袭击部队的情况汇报给谭世麟，谭大骂张是反复无常的小人，叹了一口气说：“刘志丹、谢子长两位多才能干，你能不能把他们请回来？”杨树荣想三道川兵变失败，正可再利用谭世麟发展革命武装，便一口答应他到保安请回刘、谢。
谭世麟说：“路上土匪多，你一人走有危险，这里有合水太白二十四营的营副王凤珠，他们带着枪，和他们一起走，比较安全，我给安顿。”并给王营副叮咛，以后杨团副树荣（姜兆莹从井岳秀的军官团出来就改名杨树荣。第一次到庆阳，刘志丹写的介绍信上，介绍为中校团副）和刘营长到你处要好好招待。
到了二十四营驻地合水，王营副向营长黄毓麟（绰号黄二子）传达了谭的指示。黄表示一定照办，并给杨树荣指了去永宁山的路径。
根据这种情况，刘志丹与永宁山党支部遂决定将计就计，他们甘肃管，咱们陕西管，两省之间又不通气，利用这个空子，借机消灭二十四营这股反动武装，收缴武器，壮大游击队。
刘志丹一方面派杨树荣先去太白，告诉二十四营营长黄毓麟：骑兵第六营将赴太白镇，请他们筹备粮草，先稳住他们。另一方面分头调集人马。并派人到苍沟马海旺大爷的崖窑上取回了那次从庆阳驮回来了的服装。大家一看，军衣、符号、臂章、官防一应俱全，只少一面旗子，马上叫来几个妇女做了一面上书“陇东民团军骑兵第六营”的大旗。
人马调齐后，刘志丹将部队带进白沙川的密林中对队伍进行了战前动员和必要的训练。
9月28日拂晓，趁着云雾迷漫，队伍打着陇东民团军骑兵第六营的旗子，化装成民团军的刘志丹游击队骑兵29人向太白镇进发。人人穿着崭新的绿军衣，佩戴着臂肩符号。刘志丹骑着一匹枣红高头大马，走在前面。