1927年9月26日，陕西省委举行扩大会议，传达贯彻中央“八七会议”精神。大会纠正了陕西党组织内的右倾机会主义错误，决定实行策略上的转变，并通过了农民斗争和军事运动等九项决议案。为组织武装起义，刘志丹化名刘金美，与唐澍、谢子长等先后被派往洛南三要司许权中新编第三旅。该旅是按照邓小平的意见，由西安中山军政学校的学生、投奔革命的进步青年和北伐军保卫团共1500多人组成的。大革命失败后，为贯彻省委“找主求生”的指示，共产党员许权中，以武力迫使陕西军阀岳西峰部师长冯子明议和，承认建制，并供给粮饷，编为补充旅，由许权中担任旅长。刘志丹等到达后，根据省委指示，立即组建该旅党委，刘志丹任党委书记，许权中、唐澍为委员，秘密准备发动起义。
4月中旬，省委指示许旅立即开往华县高塘原，配合那里的农民暴动，组织起义。在三旅党委会上，许权中提出：渭华地区地面狭窄，秦岭山区人烟稀少、物资缺乏，虽有群众基础，粮食丰富，但距公路太近，因此渭华不是起义的理想地区，主张部队向地势复杂、有回旋余地的陕北转移。此时的刘志丹还没有能力对这个重大的战略方向问题作出准确的判断，但他知道党的指示是不能违背的，所以断然拒绝了许权中的合理建议。刘志丹亲自到前沿阵地通知部队，次日深夜向高塘原进发。在高塘原，按省委决定，全军编为4个大队，改称西北工农革命军，成立了军事委员会，刘志丹任主席，唐澍任总司令，许权中任顾问。
4月27日，高塘原举行盛况空前的军民联欢大会，会场上飘扬着镰刀斧头的革命红旗。刘志丹、唐澍在会上号召群众起来举行武装起义，发布了“西北工农革命军总司令部布告”。布告以通俗易懂的语言说明了社会上贫富不均的原因，指出大家只有起来“打倒贪官污吏”！“建立苏维埃政权”，才能“过上好光景”。
5月1日，在渭南县崇凝镇的群众大会上，陕西省第一个革命政权——崇凝区工农民主政府诞生了！接着，高塘原50多个村子，也陆续建立了工农政权。革命军所到之处，在赤卫队员的帮助下，解放了的广大群众，以高昂的斗志打土豪、杀劣绅、挖陈粮、毁契约，甚至在渭华公路沿线截断电杆、破坏交通、击毁军车、夺取物资，到处红旗飘飘，热气腾腾。
但是，由于渭华地区是豫陕交通要道，革命力量在这里发展，必然招致敌人疯狂的镇压。从5月上旬到6月下旬，敌人调集重兵连续发动三次进攻。刘志丹、唐澍、许权中、王吉泰等，虽都身先士卒，亲临前线与敌浴血奋战，但终因寡不敌众，在取得一些小胜之后，整个起义宣告失败。部队只剩下200多人，其中还有很多是伤病员。不少优秀的领导干部壮烈牺牲，唐澍的头还被敌人挂在洛南县城楼上示众。看到历尽千辛万苦创建的这支革命武装遭到这样惨重的损失，刘志丹痛苦万分。
7月初，刘志丹主持召开军事会议，以对党高度负责的态度，深刻地作了自我检讨，把起义失败的原因归结为：光杆斗争，军事冒险，脱离群众，烧杀政策。并主动提议将剩余部队仍交还许权中领导。
1928年7、8月间，刘志丹等人化装潜回西安，向省委汇报了渭华起义的经过和失败的经验教训。同年秋，省委派刘志丹和谢子长等北返，刘志丹任中共陕北特委军事委员会书记。刘志丹在经过家乡保安时，曾和当年榆中同学、保安县党组织负责人王子宜及皖北暴动失败后回到家乡闹革命的曹力如一起，整顿地方党的组织。他们利用县教育局的局长是共产党员这一便利条件，将一批党员和进步人士安排到全县7所小学工作，以此为立足点，进行革命活动。
1928年冬，刘志丹到达陕北特委所在地——榆林，负责特委工作。特委书记杨国栋慑于国民党反动派的白色恐怖，主张只做点宣传工作，不进行武装斗争，甚至荒谬地提出要党组织暂时停止活动。刘志丹和特委其他人一起，同这种右倾错误进行了坚决的斗争。在刘志丹等的推动下，中共陕北特委第一次扩大会议作出了加强军事活动，在地方军阀部队中开展兵运工作的决议。
1929年春，刘志丹返回保安，根据陕北特委的决议，开始以主要精力开展兵运活动。当时，保安民团团总路仰之横行乡里，群众恨之入骨，县长及地方一些士绅与路也矛盾重重。刘志丹和王子宜、曹力如一方面分头联络士绅们，争取他们支持对路仰之部队的改造，一方面揭露路仰之欺压老百姓的罪行，号召群众到县长那里告状，要求改选团总，县长迫于四方压力只好答应改选。刘志丹、曹力如顺利当选为正副团总。
路仰之不死心，又收买了一部分人闹事，企图阻挠刘志丹上任。党组织又及时发动广大团丁进行抗争，结果把路仰之煞费苦心安排的阻挠刘志丹等上任的示威，变成了欢迎仪式，斗争取得了完全的胜利。刘志丹担任团总后，立即整顿民团，废除打骂旧习，改善士兵生活，加强政治教育，建立团内党组织，把一个本来反动的民团，改造成为一个为革命所用的武装力量。不久，敌人进行反扑，刘志丹被迫离开民团，留下一些人继续坚持秘密斗争。
1929年7月，中共陕西省委在渭南举行全体会议，刘志丹当选为省委候补委员，仍继续负责特委军委工作，在陕甘一带活动。当时，陕甘交界处北至定边，南至淳化、耀县的桥山山脉，是个“三不管”地区。一些因反抗压迫走投无路的农民常在此聚义，封建帮会如哥老会、青红帮等也这里占有地盘。刘志丹根据这个特点，号召党团员占山头闹革命。他常说：连土匪都可以在这些地方称王称霸，弄得军阀无可奈何，为什么我们共产党人不可以在这里发展势力呢？
从1929年到1931年，刘志丹、谢子长利用亲朋故友等关系，先后在陕甘边界一些军阀部队和民团中进行兵运活动。1929年夏秋，刘志丹先打入陕北军阀张廷芝部；1930年春，又打入驻甘骑兵第四师苏雨生部任十八团副团长。陕北特委同时派张秀山、贺晋年、张东皎、高鹏飞等一大批党团员和革命青年相继进入苏部工作，并且在苏部秘密地建立了党的军委(张东皎任书记)。随后，刘志丹、谢子长又回陕北打入地方军阀谭世霖部。1930年夏，刘志丹、谢子长等随谭部驻防庆阳、吴旗交界的三道川，准备利用机会举行起义，不料突遭张廷芝袭击而失败。
1930年8月，陕北特委第二次扩大会议决定成立陕北行动委员会军事指挥部，刘志丹任副总指挥。会后，他要求回去组织军队，得到批准后，9月回到保安，组成一支十余人的武装。下旬，他率领这支队伍以陇东民团军第六营的番号，巧袭太白旗，击毙该镇民团团总黄毓麟，缴获长短枪60余支，骡马数10匹。之后，在保安、甘泉、合水一带打游击，两三个月内队伍壮大到200多人枪。这年冬，由于遭井岳秀部的“围剿”，战斗多次失利，部队损失过半，被迫退到宜君县小石崖子午岭山区一带。
1931年春，省委指示刘志丹再与苏雨生合作。苏雨生这时已接受杨虎城的改编，当了旅长，驻彬县。他将刘志丹所部改为补充团，委任刘志丹为团长，驻防旬邑县职田镇。正当刘志丹在旬邑搜集原部、招收革命青年准备起事之际，不慎暴露行动，苏雨生伙同反动当局立刻对革命力量下毒手，他们一方面以“开会”为名，把刘志丹骗到彬县逮捕入狱，并宣布判处死刑，另一方面调集军队围攻职田。
补充团的将士奋起抵抗，激战两昼夜未能取胜，为了保存实力，经连排长会议决议，补充团放下武器，被改编为徒手运输连。后经党组织多方营救，刘志丹终于获释。出狱后，刘志丹又通过在陇东暂编十三师任副官处长的同乡李保堂，找到该师师长陈皀璋。陈对刘志丹颇有几分敬佩，同时也想拉拢刘志丹对付苏雨生，于是就任命刘志丹为直辖十一旅旅长，划宁县、正宁两地归其驻防。但该师骑兵旅旅长高广仁与苏雨生早有勾结阴谋，对十一旅突然袭击，部队被打散。
刘志丹只好随马锡生离队转移，在南梁收编了三股地方武装，集合起部分失散的战士组建为三个营，开展游击战争。10月20日，陕北游击队转战前来会师，两支部队遂合并，改称“西北反帝同盟军”。为解决部队的物资供应问题以及寻求一个部队休整的安全环境，11月9日，在保持部队的独立性、拨给军装、军饷等条件下，刘志丹再次与陈皀璋合作，两部分队伍改编为陈师警备骑兵第二旅，谢子长任旅长，刘志丹任副旅长兼参谋长，驻防庆阳新铺一带。
为了更有效地团结旧军官参加革命，在庆祝收编大会时举行了18兄弟换帖仪式，刘志丹亲笔写的《金兰谱》是：“我兄弟情投意合，结为金兰，在中国革命战线上共同奋斗，始终不渝，如有中途背盟离叛等情，天诛地灭。”
部队换装完毕即进行冬训，刘志丹重点在队伍中进行政治教育，教育官兵遵守革命纪律训练等等。不久，陈皀璋吞并心切，派人策反，谢子长、刘志丹恐情况有变，决定立即转移。1932年1月8日，在庆阳六村原消灭陈皀璋部两个连，9日突围到达合水县柴桥村。
这段不平凡的兵运工作的经历，使刘志丹饱尝了失败的痛苦，也磨练着他的意志。他从失败中不断吸取教训，认识到：利用军阀只能是暂时的，应该准备条件自己单独去干！
刘志丹参与创立了红二十六军，开辟了陕甘边根据地。并促成了陕甘边和陕北根据地的合并，扩大了根据地和红军力量，为中央红军进驻陕北，建立中国革命新的大本营奠定了基础。
九一八事变后，中共中央号召组织群众性的反帝运动，反抗日本帝国主义的侵略。
1932年2月，根据陕西省委指示，反帝同盟军在甘肃正宁三家原改编为“中国工农红军陕甘游击队”，刘志丹任副总指挥和党委书记。改编后，刘志丹即离部队赴省委汇报情况，随后在渭北开展了一段农运工作，又返回陕甘边。此时，游击队已分编为三、五两个支队，刘志丹任第三支队队长，率部在永寿、乾县一带开展游击战争。5月10日，刘志丹升任总指挥。
此时，敌人部署重兵“进剿”陕甘游击队，省委指示游击队立即北上。刘志丹主持召开队委会议，分析了敌情，认为分驻中部(今黄陵)、宜君、洛川之敌战斗力弱，且距榆林、西安均远，增援不易。这一带又系山区，游击队在群众中有一定影响，利于作战，于是决定向该地区行动。
5月15日夜，刘志丹指挥游击队突袭旬邑马栏镇，一举歼灭敌五一一团两个连及民团一部，缴枪200余支。17日一天之内又连歼凤凰山守敌五一一团两个连及焦家坪、五里镇两地民团共500余人。战斗结束后，游击队在五里镇一带发动群众打土豪、分粮食，扩大红军，队伍迅速发展至1500余人。20日，继续向敌进攻，又歼灭了白水县及中部民团百余人。随后，部队在宜川英旺镇歼敌八十六师1个营，缴枪300余支，弹药两万余发。至此，敌人十六师转入守势，中、宜、洛反动民团基本被歼。
在此次反“围剿”中，刘志丹和所领导的游击队，依靠地方党组织的配合和人民群众的支持，运用游击战术，半月之内，挺进数百里，横扫五个县，大小9战，8次获胜，共歼敌1400余人，缴枪1200余支，粉碎了敌人的“围剿”。
6月上旬，刘志丹率游击队东移富县，在集义镇灭民团一部，进至韩城的上官庄，发动群众，帮助地方党组织建立了50余人的赤卫队。原计划向北开辟游击根据地，但因遭强敌袭击，伤亡甚多，被迫退至甘肃正宁麻子掌。此时，部队思想混乱，在行动方向上发生了南下三原还是北上桥山的争执，相持不下，最后决定在当地开展游击战争，阎红彦被选为总指挥。这时，受左倾错误路线指导的陕西省委却指示红军“开始演习阵地战和平原战”，反对游击战争。7月下旬，省委派代表到游击队，进一步推行左倾错误路线，批判刘志丹、杨仲远、阎红彦等，并给他们戴上“逃跑主义”、“上山路线”等帽子。
8月，当部队打下正宁五顷原后，省委又错误提出死守力量单薄的五顷原，消灭附近敌人的坚固据点，二十天分完土地等一系列过左计划。刘志丹坚决不同意，并耐心向大家讲解自己的看法。但这些人根本不听，仍令进攻敌人设防坚固的城镇，结果连打败仗，遭受重创，被迫退至马栏附近。
8月底，省委又命令陕甘游击队南下耀县地区。此时，敌三路大军又开始了新的“进剿”。第一路贺高侯部千余人由旬邑土桥经安子洼向照金进发；第二路井岳秀部一个营配合民团200余人由宜君进占马栏，企图截断红军退路；第三路由胡三带领富平、耀县、铜川三县民团400余人，由耀县进攻照金，形势非常严峻。
刘志丹沉着应战，决定避敌主力，歼其薄弱环节。趁敌贺高侯部进展迟缓，当晚运用以退为进的战术，先佯装向宜君、铜川方向后撤，埋伏在照金以西20华里的地方，诱敌胡三部进驻照金。等敌到达游击队立即杀了“回马枪”，拂晓，敌还在酣睡之中，即被我四面包围，在大雾中激战不到两小时，打死民团总指挥党谢芳，生擒耀县团总蔡子发，歼敌400余人，照金战役的胜利大大鼓舞了士气。战后，敌人又集结数县兵力联合反扑。为避敌主力，我部撤离照金，北上保安。临走前，刘志丹留下他的特务队，交由习仲勋领导，原地开展游击战。
9月，游击队进攻保安失利，10月，再战又失利，撤至合水县梢林地区的平正川，部队士气低沉。谢子长、刘志丹在此召开队委会，决定分散活动，筹集粮款，解决冬衣问题，并寻机消灭小股敌人。会后，游击队分战三路，刘志丹带领1个大队到合水塔尔原；杨森、黄子文带领60余人到三原武字区；杨仲远、阎红彦带骑兵队到照金一带；谢子长依靠群众的掩护，带领30余人，留住平正川、豹子川的山林，照看伤病员。经过艰苦的斗争，筹得了一批粮款，取得了一些胜利，部队逐渐恢复了战斗力。
12月上旬，陕西省委书记杜衡以中共中央北方局特派员、陕西省委代表的身份来到游击队，传达省委指示宣布将抗日游击队改编为中国工农红军第二十六军。接着，杜衡利用改编的机会大肆进行宗派活动。他对游击队一年以来坚持斗争取得的成绩一概加以否定，对刘志丹等领导人横加指责，以“逃跑主义”、“右倾机会主义”以及“反对省委正确路线”的罪名，撤了刘志丹和谢子长等人的领导职务，强令他们立即离队。在广大指战员的强烈要求下，刘志丹才得以留下来，但不再委以任何职务。