在担任靖国军总司令之前，于右任从未掌军。但他素有军事天赋，执掌军队后，整编军队，严明军纪。三月之后，各地民军竞相投效，靖国军扩大到3万余人。
当时，靖国军中有郭坚、樊钟秀、曹世英、胡景翼、高峻、卢占魁共六路军队，分别驻扎在陕西北部各地。于右任在靖国军任职4年，尽管几经坎坷，但仍坚持带领军队同周围各省军阀势力相抗衡。
1922年，陕西靖国军解散。原因据说是军饷没有着落，但事实上，最大的原因是由于靖国军孤立渭北，四周北洋军阀的恶势力虎狼相视，各路将领都有私心，一心想保存自己力量，因此导致了内部的分裂和叛变。第四路胡景翼投靠直系吴佩孚就是明显的例证。
陕西靖国军解散前夕，于右任这个“总司令”有名无实，百无聊赖中，他以40日的时间做成《民治学校园纪事诗》20首。第一首的第一句就是“祗余民治园中路”，意思是说自己如今处境很简单，前路渺茫。最后一首的结语是：“难忘民治园中路，卷土重来未可知。”于右任一生遇到过很多次像现在这般的艰难处境，但从来未曾灰心，总在奋斗中求光明，所以他这一次也不例外。
1922年，靖国军因内部分裂及敌人诱降而宣告失败。于右任无奈之下只好又回到了上海。
1922年春，东南高等师范专科学校的学生代表推举于右任为该校校长。于右任通过李大钊邀请到许多共产党人到学校任职，如邓中夏、瞿秋白、沈雁冰、恽代英、萧楚女等人。因此，很多人说于右任是“亲共人士”。事实上，于右任此举，正是顺应了孙中山联俄、联共、扶助农工的三大政策，可谓是早期国民党的正统思想。
两年后，中国国民党召开第一次全国代表大会，于右任出席，并当选为第一届中央执行委员。后广州国民政府成立，于右任又被委任为国民政府委员。1924年10月，国民军将领冯玉祥、胡景翼、孙岳在北京发动政变，禁锢贿选总统曹锟于团城，成立了所谓的北京政府。
北京政府一面请皖系军阀首领段祺瑞来北京执掌临时政府，一面又请孙中山、于右任来北京共商国事。
接到邀请后，于右任来到了北京，当时是11月，天气寒冷，但依然有很多人到火车站欢迎他。下车后，群众簇拥着于右任到中国饭店举行欢迎仪式。于右任到北京一月之后，孙中山也到了。当时，段祺瑞已经执掌了北京临时政府。他与孙中山的执掌理念有所冲突，因此国民党人不愿参加。
在北京时，于右任游览了颐和园。于右任雅好山水并嗜花木，可以说是身在朝野，心在山林。在游览颐和园的时候，有许多园艺专家同他谈话，都被他丰富的花木知识所震惊。
在游至排云殿时，想起当年慈禧为了修建颐和园，把用来巩固国防给海军筹集之专款挪作私用，便用怀中的自来水笔在殿内题了“排云殿外凭栏望，多事当年练海军”的诗句，讽刺慈禧太后。
来北京后的一天，于右任在一家饭馆宴请胡适、翁文灏、丁文江等几位学者。席间，胡适非常轻蔑地说：“陕西人在北京发动政变的李自成以后恐怕就是胡景翼。”胡适的话略有些讽刺陕西人的意思，作为宾客，这么做未免失礼。于右任闻之，冷笑了一下，但是并未接话，而是说：“陕西靖国军解散时，有一天晚上胡景翼来到我家叩门，我的女人出去开门，他对我女人说：‘我这回受人家改编，实出于不得已，请您对于先生说，我胡景翼誓死不忘于先生。’他同冯焕章这次约我到北京，大概是践他的誓言。因而我的诗中就有‘谁信李陵报故人’之句。”算是对胡适的回应。
1925年，胡景翼在孙中山病故数月之后去世，葬于华山。于右任亲笔写了一副挽联：“盖世勋名不为王翦，弥天风雨又哭中山”。虽然于右任曾因为靖国军解散一事对胡景翼有所不满，但他认为胡景翼实现了他的“誓死不忘右公”的誓言，所以胡景翼死后，他非常悲痛。
1926年3月，日本军舰侵入天津大沽口，炮击我国民军，3月16日日本又联合英、美等八国向北洋军阀段祺瑞执政府提出撤除津沽防务的所谓最后通牒，激起我国民愤慨，3月18日，北京的学生和市民前往北洋政府门前请愿，却遭到军警的枪击和砍杀，制造了举国震惊的“三一八”惨案。
惨案发生后，于右任对爱国者的遇难十分痛心，亲自筹款，帮助陕西旅京学生会安葬死难和抚恤受伤的陕籍学生。
同年，国民军与奉系军阀征战不休，国民军形势危急，西安告急，李大钊建议于右任赴苏联敦促冯玉祥回国。于右任秘密经天津到上海，在上海乘苏联轮船经日本到达海参崴。在苏联，于右任找到了冯玉祥，并说服其回国。9月，于右任和冯玉祥一起来到五原镇，成立了国民军联军，冯玉祥担任总司令，于右任担任副总司令。接着，于右任率领先头部队，经宁夏、固原、平凉等地进入陕西境内，并击败奉系将领刘镇华，解了西安之围。
解围西安后，于右任以国民军联军驻陕总司令的名义进驻西安，代行全省政务。此后，于右任发布多项法令，取消苛捐杂税，减少农民地租。在于右任的支持下，陕西省工、农、学生、妇女运动蓬勃发展，出现了陕西近现代史上少有的革命高潮。
1927年，于右任回到南京，并于次年担任南京国民政府审计院院长，主管财务审核。时值陕西大旱，许多地方颗粒无收，灾荒之严重百年罕见。于右任得知此事后，忧心万分，“本拟早日回陕看视灾情，因足疾未能成行”。1928年8月，足疾尚未痊愈的于右任还是不顾病情，回陕视察灾情。当时陕西政府财源枯竭，储粮殆尽，他便奔走于东南各省，开展募捐活动。于右任为了给陕西筹募赈款，在南京有关的会议席上，往往不顾政府要员身份、痛哭流涕地代全陕饥民呼吁。
1929年7月，陕西灾情仍在持续，而于右任在为其长子于望德的婚礼答谢词中，还提到了陕西灾情严重情况。他说：“我本拟早日回陕看看灾情，因足病未能即行，并非在沪上待儿子的婚礼。久抱与家乡父老饿死同饿死的宗旨，并谢亲友送礼为陕助赈的热诚。”于右任在儿子婚礼喜事的场合，尚能想到远方的灾情，其心赤诚，感天动地。
1930年11月，于右任再一次回到陕西，当时陕西大灾刚刚过去。为了改良农业，培养农业科技人员，于右任购买了900亩土地，兴办斗口农场，并聘请农业专家任场长。他在农场立碑一块，上书：“余为改良农业，增加生产起见，因设斗口村农事试验场。所有田地，除祖遗外，皆用公平价钱购进。我去世后，农场不论有利无利，即行奉归公家，国有省有，临时定之，庶能发展为地方永远利益。以后于氏子孙愿归耕者，每家给以水地六亩，旱地十四亩，不自耕者勿与。”
其实，说于右任创办农场完全是为了国家人民，那也是不客观的。除了改良农业之外，他建农场的原因有两个：第一，他的祖先世代在泾阳县务农，家中亲戚也多是农民，所以于右任对农事生产有着天生的眷顾；第二，于右任也是因自己日渐衰老，置办农场为退休做打算。解放以前，于右任曾将自己在南京、上海收藏的名人字画和珍贵的古书寄回到农场，这似乎可以证明他曾经想要晚年到此居住。无奈世事叵测，于右任退隐于农的心愿未能实现。
1931年2月2日，于右任就任南京国民政府监察院院长，主要从事制定监察制度、划分各个监察区等工作。同年九月，日本发动“九·一八”事变，时任国民政府委员长的蒋介石却采取不抵抗政策。于右任亲自去找蒋介石，要求他“快拿主意，回击日人”。在随后召开的国民党中央会议上，于右任又和冯玉祥等爱国人士再次提议对日宣战，以雪国耻。
正当于右任为抗日积极奔走之时，1932年春，陕西又爆发了霍乱。于右任得知后，马上委托于夫人带了十多箱药材回陕西进行防疫工作，而他则在政府中四处奔忙，为平息疫情做努力。
于右任是个天生仁慈的人，他一生热衷慈善，每捐一次款，就会列一个报表，这种报表共计装了五册。于右任曾经对保管报表的人说：“这些报表赶快烧掉，勿令我的子孙看见。”但是保管报表的人于心不忍，一直未按于右任所说的办。直到于右任前往台湾之前，又亲笔写信，叮咛此事，这些报表最终被付之一炬。