1960年残军的“云南反共救国军”改了番号，对外称为“云南人民反共志愿军”，这时候的李弥已经撤回台湾，柳元麟改任总指挥。
1961年3月6日，已任“反共志愿军”副总指挥兼第5军军长的段希文，接到命令要他率领部队到孟撤机场，准备撤回台湾。结果，当他带领士兵在机场等待时，又接到******的急电：留下来坚守，准备反攻大陆。这样，他和他的第5军又留了下来。实际上他的第5军也只有3000多人。
段希文和残军的总指挥柳元麟矛盾较深，柳元麟曾经好几次向******状告段希文不听指挥，反攻大陆不力等等的行为。因此，在段希文被留下来后，台湾便中断段希文所部的军饷。
段希文面对已经被台湾抛弃的定局，他最后做出了一个大胆的决定，那就是再也不听台湾和柳元麟的指挥，他要与3000多云南籍官兵共存亡，不再去作无谓的牺牲——反攻大陆，他要去自谋生存之路。
段希文在一个漆黑的夜晚，率领着第5军的残军弟兄翻山越岭，在原始森林里穿行了四天，最后终于到达了泰国清莱省的美斯乐。
现在段希文脱离了台湾政府后，他手下的残军已经变成了一只不属于任何国家和组织的孤军。
美斯乐距泰国和老挝的边境线都不远，偏僻闭塞，更重要的是地形险要，易守难攻。段希文传令下去，将营房盖在陡峭的山坡上，并全力在遮天蔽日的树林里开始修建工事，并开荒种植大量的罂粟，蔬菜和粮食。
泰国国防部的官员听到残军入境的消息不由得大吃一惊，缅甸军队剿灭残军失败的消息，他们早就有所耳闻，为了避免泰国军队重蹈覆辙，他们采取久围不攻的办法，试图用美斯乐艰苦的环境拖垮残军。
******得到段希文脱离了台湾的领导，另立山头的情报，自然很不甘心。1970年元月16日，台湾安全局局长周中锋奉******密令来到了泰北，他把段希文等人叫到清莱府，连夜进行了密谈，希望他能够接受台湾的改编。
段希文嘲笑道：“台湾不发给我们军饷，不供给枪支弹药，你们还要来管我们？你们太不知趣了，你们以为这是在台湾？还像20多年以前随便发号施令？记住，这里可是金三角！我们再也不会相信你们，不会相信国民党！”
周中锋碰了一鼻子灰之后，只得悻悻然而去。
泰国政府虽然派兵将美斯乐地区团团围困了起来，但是他们也是无时无刻不担心残军发展壮大，对本国的政权产生威胁，就在泰国政府召开会议，研究是否对残军采取下一步行动的时候——泰国政府的心腹大患，反政府的游击队对昌孔县城发动了进攻，反政府的武装攻下昌孔县城后，首先将该县县长绑架，随后又打死了当地的警察局长。泰国全国一片哗然，民众都称军方懦弱，施政者无能，泰国的政府处立刻陷入了极其被动的局面。
1970年2月4日，泰国军方的最高统帅做出了一个决定，那就是同意将残军编为“泰北民众自卫队”，然后命其攻打反政府游击队的老巢叭当地区，只要段希文剿灭了这只反政府游击队，泰国政府便将给残军永久的居住权。
反泰国政府的游击队虽然只有1000多人的武装，但是他们占据有利地形，行动上更是神出鬼没，泰国军方对其围剿了二十多年，甚至动用飞机大炮也没有将他们消灭。泰国政府的某些官员，根本就不信段希文能有消灭反政府游击队的能力。
段希文听完泰国军方的条件，他为了残军，以及残军的子孙后代，便欣然接受了任务。并承诺一个星期，结束战斗。泰国军方得到段希文的承诺，更多人则是不相信，他们都静等着看段希文的笑话。
1970年2月10日，段希文率领残军，向叭当的反政府游击队发动了猛烈的进攻。
段希文第一天采用的是强攻的办法，600多名残军的战士，先用重炮轰炸反政府游击队占据的山头，接着残军的将士，敲锣打鼓，吹着冲锋号猛打猛冲。战斗一直进行到了晚上，残军除了损兵折将，根本就没能攻上险峻的叭当山峰。
天黑的时候，段希文命令残军停止前进，但迫击炮手们，仍然乘着夜色，不停地向反政府游击队的阵地开炮。第二天天刚亮，段希文命令手下吹起了冲锋号，残军一个营的弟兄呐喊一声，猛虎似的冲上了险峻的叭当山峰。
令人奇怪的是，反政府游击队阵地上除了有零星的枪声外，残军攻山的部队，并没有遭到大规模的武装抵抗。
叭当已毫无悬念地被收复了。残军此战，共打死了反政府游击队356人，俘虏708人，可谓战绩辉煌。
原来昨天段希文在山下正面佯攻是假，他暗中已经派出200人的敢死队，在湄公河上用绳索攀登上悬崖，残军的敢死队深夜悄悄地摸进了游击队的阵地，打了反政府游击队一个措手不及。段希文仅用2天时间就结束了战斗。
泰国王陛下亲自颁给段希文将军一枚勋章，并对受伤阵亡的将士家属发给抚恤金和泰国公民证，对残军将士发给居住证。经泰国政府批准将残军改为“泰北山区民众自卫队”，段希文将军任总指挥官，李文焕将军任副指挥官。
当残军获得泰国在美期乐的居住权之后，台湾当局竟慌了手脚，他们担心残军被泰国收买，会影响台湾政府在世界上的声誉。
中央情报局局长叶翔急忙来到金三角，亲自并约见了段希文、李文焕等人。
叶翔对段希文说道：“请段将军不要接受泰国的改编，台湾方面会马上恢复补给，残军有什么困难台湾都会解决的！”
段希文直言相告：“一切都晚了，我们苦了几十年谁管过我们？你拿什么东西来证明台湾管过我们的死活？换句话说，我们反攻大陆二十多年，死了不少人？你们给了我们什么抚恤金，一分钱也没有，军饷也扣发了！你走，我们不想见到台湾来的人！”
泰北山区民众自卫队成立后，段希文任指挥官。自卫队的编制被定为1500人，泰国政府按此发放给弹药和军粮。段希文一边加紧了自卫队的建设，一边督促部队的战士和眷属，铲掉了害人的罂粟，并在罂粟田里，建立生产基地，重新种上了谷子、大豆、玉米和茶叶。
段希文在异邦立足后，他还大力兴办教育。1962年，段希文出资在美斯乐创办了兴华中学，对当地学生和边远贫困学生免收学费。并每年保送40名优秀学生到外地上大学，其资助的学生如今遍布海内外，不少人都成为了有用之才。
段希文将军的原配名叫李惠芳，系宜良县城北村人，1920年段希文因军务离家后，李惠芳孤身一人将儿子段浩川，女儿段德丽等抚养长大。
1965年的一天，段浩川突然收到段希文寄来的一笔巨款，整整500元，而当时他的月工资只有50元。因为**********的缘故，这笔巨款段浩川始终没敢动，直到**********结束，段浩川才将这笔钱从银行取出，交到了母亲的手里。
段浩川收到父亲的第一封来信是在1972年，这封信是龙云之子龙纯勋从香港辗转带回大陆的，信中的大意是询问家人是否安好，希望家人和他联系。段浩川急忙召集全家照了张全家福，并将照片夹在信里给父亲段希文邮寄了出去。
1972年段浩川的母亲带着女儿段德丽赶到香港和父亲见了一面。但在其间段浩川始终没能和父亲见过一面。
1980年6月18日凌晨1时30分，被泰国称为“孤军的灵魂”的段希文心脏病猝发，与世长辞于曼谷。享年69岁。
19日上午，泰国前总理江萨上将亲临批耶泰医院，向希文遗体告别。望着静卧在鲜花中的希文遗体，江萨上将情不自禁走上前，伸手抚着段希文肩膀，许久无语。
7月24日，段希文葬礼举行。其间泰国总理及多名将领敬献花圈，送葬队伍长达两公里。按其遗愿，他被安葬在美斯乐的他那翁山之巅，面朝北方——自己的祖国。
段浩川当时并不知道父亲的去世的消息，直到他收到一封台湾的来信，写信的是他同父异母的弟弟段湄川。他才知道父亲段希文因心脏病突，以于发于6月18日逝世了。
段浩川惊悉噩耗，他虽然想立马动身，前去泰国奔丧，但因当时出国手续办理起来十分繁琐，直到9月26日，段浩川才得以乘飞机赶到了曼谷。
段浩川辗转着来到了美斯乐的时候，他受到了极为热情款待，村民们都争相前来诉说段将军生前的丰功伟绩，并详细描述了举行葬礼时的盛况：当天数万人冒雨送葬，200多辆车从清迈一直开到美斯乐，还一度造成了交通阻塞，这种待遇连泰国元首都自叹不如！段浩川在泰国过完春节后，这才启程返回国内。
1982年，云南同乡主持建成了希公陵。其中一副挽联高度概括了段将军的一生——扬威异域，树立风范，领导中原豪士，开荒拓土，孤忠撼中外，功勋永铭照佛国；创立会馆，惠泽同乡，相率南诏健儿，兴学建教，桃李满天下，楷模常留在人间。