12月28日，中立国遣返委员会以多数通过了一个“临时报告”，提交给了停战协定缔约双方，报告叙述了该委员会自1953年9月9日至12月23日的活动，并且指出了“南营”的状况：
毫无疑问，在接管时战俘已被完善地组成了许多集团，而这一组织形式现仍在营中保持下去。在印度看管部队接管以前即已存在于战俘中的“领导”，继续对战俘施行影响。这些战俘受到程度甚为可观的压力。在若干事例中会牵涉到暴力行为。
报告还明确指出了“南营”中的特务组织的“总部地点在汉城，受大韩民国宪兵总司令官控制”。这一总部与控制6个战俘围场的4个分支组织是相联系的。分支组织则控制着所有55个营场的营场组织。在这三层组织之间有一个有效的通讯系统在工作，“联合国军”第六十四野战医院在这一通讯系统中构成了重要的一环。
报告在列举了大量事实后明确指出：
战俘在表达愿望时所必须采取的这种不正常方式，使人很自然地怀疑到全体战俘都不是自由的人。
中朝方理所当然地要求商定解释期限应予补足。中立国遣返委员会也认为中朝方这是合理要求，表示同意。然而美国人不同意。中立国遣返委员会夹在中间实在为难，印度、瑞典、瑞士等国就想出了一个左右逢源的主意：一方面于1954年1月20日8时50分，将“南营”重新移交给“联合国军”看管，一方面通过了一个“最后报告”，确认了美军蓄意扣留战俘的事实，并于2月21日宣布解散中立国遣返委员会。
真是难为了这些骑两头马的和事佬了。
中立国遣返委员会的“最后报告”指出，“临时报告”中所申述过的“那些结论和事实不仅未为‘最后报告’所叙述的任何事物所损害，反而得到了更多的确证。军事法庭的审判经过及提起公诉一方辩护一方证人的证词，都明白无误地说明战俘组织的存在，并暴露了战俘组织的基本性质与目的”。
反正说完就散伙，他们最后总算还是把话说了个透：
南营战俘组织及主持这些组织的“领袖”否定了关于自由选择的一切假设或妄言。……本委员会必须坦白陈述其以自己经验为基础的信念，即若不更充分与进一步地执行职权范围而认为这些战俘已自愿选择了不遣返的说法，都是毫无证据作支持的妄言。
……本委员会已经决定：宣布解除战俘身份使之成为平民所必需的法律上的先决条件并不存在，因而这种“解除”是不合法的。
话一说完，中立国立马就撒腿走人。于是，“南营”中的7064名朝鲜人民军战俘被“就地释放”，补入韩国军队；
14235名志愿军战俘被装船运往台湾，补入兵员匮乏的国民党军队。然而遣返完毕了，他们的价值也就完了。蒋介石先生一直有个很固执的政治操守观念：所有从共产党那边叛变过来的人最不可靠——他既然能叛变共产党，那也一定能叛变国民党。这样一些人，只可利用而不可重用。所以中共叛徒很少有人能长期在蒋先生帐下混上安稳饭吃。包括张国焘这样的“大人物”。被强迫送到台湾的志愿军战俘当然不是什么“叛徒”，但在蒋公眼里仍属“不可靠”一类人等，他们编入国民党军后一般都成了劳役队，后来又被赶到阿里山中修公路，尝尽了人间的悲凉凄苦辛酸曲折，许多人到了40岁还无力娶亲。
直到蒋经国时代台湾经济起飞，他们算是好歹分到了一杯羹，日子才有了起色。然而隔海相望的不断思乡情呢？80年代后，他们中许多人怀揣着血汗钱，回到家乡定居。
笔者键击至此不禁扼腕长叹。“拒绝”遣返，是对新中国军队政治工作传统优势的一次挑战。毋庸置疑，面对这种挑战，我们并没有成为圆满的胜利者。志愿军战俘们大都没有踏上回归祖国之途，固然是在战场上吃了苦头的美国人想用“美式人权”对扫了自己脸面的中国人还以颜色，处心积虑地在这个原本没有任何含糊的问题上做出了许许多多让人不齿卑鄙无耻的小动作，以从政治上来诋毁新中国的恶行所致。中国人民解放军国防大学教授徐焰同志在其专着《第一次较量——抗美援朝战争的历史回顾与反思》中，曾有一段振聋发聩发人深省之言：
在过去的长时间里，我们对于自身的精神素质方面的问题往往只强调优点，对于战争中出现的一些不足则大都简单地归咎于个别人的责任，而没有从其深刻的内在社会原因进行全面的总结，尤其是忽视了鲁迅早就提出的中国“国民性”的研究。因此，以系统的观点对于精神因素问题进行整体性的研究，才有利于全面总结历史经验，并能很好地为提高军队精神素质提供借鉴。
从我国的历史和文化传统上看，中华民族长期具有吃苦耐劳的美德，中国传统的宗法社会又养成了尊重长上的习惯，这些对于当时中国兵员的基本素质在许多方面都能产生有利的影响。西方国家的一些社会学家和军事评论家曾经指出，东方的农耕社会给农民造成了不畏惧苦难与死亡、习惯于服从等特点，这本身构成了最好的士兵的素质，但是这些好的素质能否得到发挥，关键在于良好的领导和组织。这些观点还是值得参考的。在中国共产党领导的军队中，成员绝大部分是农民，对他们只要实施有力的领导和教育，广大官兵确实都能表现出英勇和严守纪律等特点，自身的许多弱点也可以得到压制。抗美援朝期间志愿军精神面貌上的优点，主要应该归功于革命思想的教育，同时也是当时特定的历史环境所造就。
当然，长期的宗法社会的生活，也使人缺少独立开拓精神，加之农民文化水平低，社会经验不多，在以这种成分为主体的军队中，领导和骨干的作用如发挥得不好，旧中国“一盘散沙”的病弱也会在军队中出现，本来能够成为坚强斗士的也会变成茫然失措的弱者。同样以农民为主体的清王朝的军队、国民党的军队，就同共产党领导的军队在对外战争中的表现截然不同，正说明了这一点。因此，从各个时期的中国国情出发，深入地研究中国的国民性对于兵员素质的影响，在此基础上因势利导地做好政治思想工作，将是提高军队精神素质的重要保证。
徐焰同志这段话值得我们深思。仗打完了，胜也好，败也罢，都不能白打。血流过了，得也好，失也罢，都不能白流。当兵，就要当明白兵；打仗，就要打明白仗。新一代的中华儿女，在深化改革致力于现代化建设的同时，千万千万要对我们民族的教育事业多一分关注。从根本上改变我们的国民素质结构，完成我们民族健康心理的深层构建，才是我们民族真正坚强有力而永远立于不败之地的根本保证啊！新一代的中国军人，都应该像鲁迅先生所说的那样：“做一个勇敢而明白的斗士。”
“联合国军”方面也有拒绝遣返的战俘。解释开始时，“北营”中留有359名“联合国军”战俘。本来，中国方面根本没有留下对方战俘的打算，即或是美国战俘中表现进步的人，中国方面也希望他们及早回国，多一个给新中国唱赞歌的义务宣传员。
直到1952年4月间双方就战俘问题达成协议，决定将“不直接遣返战俘”交中立国后，志愿军俘管部门才开始征询战俘们的意见，同时也动员他们还是都接受遣返回到自己的祖国。然而，仍然有23名美军战俘、1名英军战俘和335名韩军战俘表示拒绝遣返。但“北营”的解释工作是在没有受到任何干扰的情况下进行的。“联合国军”方面来了一大堆神甫、牧师什么的，来动员这些“迷途的羔羊”
回到自己一方，韩军“解释”人员还带来了国防部慰问录音带，并许诺回国后可以加薪提职。
最后只有12人表示愿意回去。留下了21名美军战俘、1名英军战俘和325名韩军战俘。22名美英战俘在“北营”向西方记者发表讲话，表示想去中国并非出于强迫而是自愿。这个消息给了“联合国军”方面以极大的震撼。虽然人数很少，但这是美国历史上从未有过的事情，很扫美国人的面子，“联合国军”总司令马克·克拉克上将也认为，这是美国军队教育中所存在的严重问题所致。美国战争史学者拉塞尔·韦格尔在《美国陆军史》中坦承：
一些落入共产党之手的美国士兵竟然能同敌人合作，对此，无论美国国内与军内都出现了一种超乎寻常的自我反省与悲哀情绪。
“我们不像美国，有特务在战俘中捣乱，我们没有，全靠战俘自己。假如在‘解释’时中途变卦，那就坏了！幸亏这些战俘们都很坚定，闯过了‘解释’关、记者采访好多关，帮了我们大忙。”
多年后，遣返委员会中方委员王迪康如是说。这边也把这事儿上升到政治斗争高度来对待。
这22名美英战俘后来都选择到中国定居，有的上了大学，有的安排了工作。“文化大革命”前夕极左思潮泛滥时，周恩来总理指示动员他们去了香港或回了国。
只有原美步兵第二师的一位列兵詹姆斯·温纳瑞特留在济南上完大学，在山东大学当了教授，和中国人民一起经历了那个年代所有中国人都要经受的风风雨雨，十年动乱期间还扫过厕所拉过架子车。为此，许多中国朋友还为他愤愤不平，说咱中国人有时真差劲，当俘虏那一阵倒诚心诚意宽待他，成了中华人民共和国公民就欺侮人家了，花血本培养他念完大学照样当臭苦力用。
“大家都一样，好歹是主人公。”温纳瑞特反倒还安慰人家。直到1976年，他才回到美国探亲。“中美早该改善关系了，我走在尼克松前面，比他早来了20年！”被中国人亲热地唤作“老温”的前美军列兵不无幽默地说。
战俘问题“解决”了，该说撤军了。1953年10月26日，板门店又增加了一顶政治会议的帐篷。这里说“板门店”，已经很不准确了。因为此“板门店”，已非彼“板门店”。谈判签字的那个板门店位于中朝方控制区内，再作为军事停战委员会址已不适宜，新的会址应该设在军事分界线上。于是经双方参谋人员勘察提出建议并经军事停战委员会1953年8月19日批准，决定以板门店东南分界线上甘岩洞为会址。
于是板门店的那栋大木屋搬到了甘岩洞。分界线穿屋而过。不过，板门店既已世界闻名，就只好约定俗成，继续叫下去。于是，甘岩洞就变成了“板门店”。
政治会议要谈的是撤军问题。停战协定第六十款规定，高一级政治会议的任务是“协商从朝鲜撤退一切外国军队及和平解决朝鲜问题等问题”。
在停战协定刚签订20天后——也就是1953年8月17日，第七届联合国大会第三期会议召开，在排除中、朝政府参加的情况下，讨论关于朝鲜问题的政治会议应该是圆桌会议还是双边会议。
中朝政府理所当然地作出了反应。
8月24日，中华人民共和国中央人民政府政务院总理兼外交部长周恩来发表声明，指出，联大讨论朝鲜问题拒绝中、朝政府代表参加是不合理的，并指出联大有责任将有关提案与建议随时通知中、朝政府。
周恩来这是绵里藏针，意思是没我们参加你再折腾也没戏。
至于会议形式，周恩来指出政治会议应该是一次圆桌会议，因为撤退一切外国军队、和平解决朝鲜问题及期限等有关问题，不仅对于朝鲜的和平有重大意义，而且对于促进远东和世界和平有很大的作用。这样的任务已不是单纯的军事问题，因此它不能仅由交战双方来解决和保证。
这一点，在联大的辩论中得到了多数国家的认同，甚至英法也倾向于采取圆桌会议的立场。然而这毕竟要美国人点头才能算数。美国人当然是不干的啦。
8月28日，七届联大通过了双边会议形式的决议。
9月13日，周恩来再次提出4点建议，要求除朝鲜战争交战双方的全体国家外，还应邀请有关中立国家苏联、印度、印度尼西亚、巴基斯坦、缅甸参加。9月15日，第八届联合国大会开幕，再次拒绝周恩来的建议。而美国则通过瑞典连续照会中国政府，通知政治会议将于10月15日在旧金山、檀香山或日内瓦召开。为不使政治会议拖延，中朝两国政府商定，同意与美方进行关于政治会议的会谈，但谈判地点应在板门店，时间应定在10月26日。于是，10月26日，两方三国代表在板门店举行会谈。参加会议的是中华人民共和国政府代表黄华、朝鲜民主主义人民共和国政府代表奇石福和美利坚合众国政府代表迪安。一谈就崩。美国人压根儿没撤军的意思。跟两年多前的停战谈判一样，光议程就扯了18天。好容易达成了议程的协议吧，会议的时间、地点、成员又成了久扯不清的问题。谈了12天毫无进展。11月30日，中朝方提出一个全面建议。12月8日，美国人得知第八届联合国大会9日起要休会了，才提出了一个17点对案。联合国大会一休会，美国人立马找了个借口中断了会谈。又没谈成。
又经过几番折腾，最后又谈到了日内瓦。日内瓦是个圆桌会议。1954年4月26日，美、苏、英、法、中、朝和朝鲜战争的所有参战国代表齐聚国际联盟大厦，讨论朝鲜和平问题。朝鲜民主主义人民共和国代表团团长南日大将提出了《关于恢复朝鲜的国家统一和举行朝鲜自由选举的方案》，提出了3点建议：
一、向北南朝鲜政府建议，举行国民议会的全朝鲜选举，以组成统一政府；为筹备自由选举，由南北国会各选代表组成全朝鲜委员会，全朝鲜委员会的任务是拟定选举法草案，并采取措施保证人民权利和选举自由。还要采取措施发展南北交通。
二、一切外国军队在6个月内撤出朝鲜。
三、有关国家保证朝鲜的和平发展。
这种建议当然不会为美国和韩国所接受。李承晚最怕的就是自由选举，要那样肯定没他的戏。美国人当然也不能走，不然他靠谁去？也没谈成。也是怪，民主之邦的美利坚合众国专扶植这号货色。所以板门店那个军事停战委员会，也就在那儿摆了50多年。今天还摆那儿哪！