李林灿曾写过一句话：“过去美国人认为东方文化的中心在日本，这次展览之后他们觉得中心在中国。”
以往故宫文物出国展览一共有两次，一次是民国二十四年（1935年）赴英国展览，那时正是北平文物运到上海的关键时刻。再一次是文物转运到大后方时，曾去过苏联展览。
虽然现在故宫文物在台，但追溯赴美展览的源头，还要从赴英国展览时说起。当时文物受邀到英国，参加“伦敦中国艺术国际展览会”，美国人看到这些稀世珍宝，有心也邀它们去美国展览，当时国民政府并未同意，拖到今天，美国人对于中国的国宝一直念念不忘。
1952年，美国生活杂志社亨利?鲁斯来台访问，他是一个极热衷于文物的学者，此次来台意在沟通故宫文物赴美展览事宜。
1953年6月16日，亨利?鲁斯正式以美国政府的身份，上电“蒋总统”。出于国际地位及美国对台援助的考虑，台湾当局以“原则赞同”的态度回电，并一面交此事由“总统府”王世杰秘书长处理，王秘书长把此事函送“两院”理事会。
1953年9月3日，“两院”举行临时理事会，商议中国文物赴美展览事宜。会上决议，成立小组，商讨进行。对于文物出台展览，当尽力而为，做到最好。会后由小组商定五项基本原则：
一、以伦敦艺展为蓝本。
二、须得美方政府的赞助。
三、以博物院为主要对象，并须有一个主要组织。
四、展览日期，应有充分之准备。
五、美方如派专家来台选择物品，我方可予欢迎，但最后仍须经我方同意。
1953年10月，杭立武先生公差赴美，就此机会，同美国的博物院接洽，当时有几家博物馆愿意承办此次展览。分别是：华府国家美术馆、纽约都会博物馆、波士顿博物馆、芝加哥博物馆、旧金山杨格纪念博物馆。12月，杭立武带回草拟的合约，展览文物的件数及具体日期。正当理事会全力商讨的时候，美国来电，由诸多原因推脱了此次展览，赴美展览一事就此搁置。
赴美展览之事搁置后，台、美双方积极的人士，为了促成这一桩美事，都活动起来。为此，“驻美大使”叶公超先生，曾多次同“驻华大使”蓝钦先生接洽，并同美国主管远东事务的助理国务卿罗伯逊先生接触。
经过双方有志之士的努力，赴美展览的事宜，于1956年11月23日“两院”理事会再次被提及，对于赴美展览，理事会将决定权交由台当局把持。
1960年3月12日，“驻美大使”叶公超，正式同美国国立美术馆秘书凯恩斯草签合约。
赴美展览的事情，由“行政院”主管，“两院”筹备，当时成立了一个“中国古艺术品赴美展览委员会”，统筹整个工作。
1960年2月25日，叶公超正式签约的前几天，“行政院新闻局”发表声明，交代了接洽的经过和展览的重要意义。美国方面也做了相应的声明，美国务院声称：“此次展览是美国展览规模最大的一次。”
台湾参展机构分别是“国立故宫博物院”和“国立中央博物院”。至于参展文物，定由“中美”双方商洽后议定，事实1960年2月之前，“两院”已经选出所要参展的文物，这次只是等待美方的确认了。
1960年3月21日，美方代表团抵台参加文物的复选工作。代表团共有三人，分别是华盛顿弗瑞尔美术馆副馆长璞博先生（瓷器研究）；纽约都会博物馆东方艺术部副主任李佩先生（名画研究）；波士顿博物馆任职的“中国”华侨曾宪七先生（名画研究）。
为此“两院”成立了“展览审议组”，由王世杰、罗家伦两位先生主持，审议员分别是：书画方面的，庄尚严、马寿华、蒋谷孙、李霖灿、庄申庆；铜器方面的，孔德成、高去寻、谭旦冏；其他方面的，那志良、吴玉璋、顾献粱。
经过双方代表11天的努力（1960年4月18日至1960年4月29日），参展文物被最终确定。一共253件，分别来自“故宫博物院”和”中央博物院”。它们是名画112件，织绣4件，铜器5件，漆器8件，珐琅11件，书法10件，瓷器85件，玉器10件，雕刻8件。
1961年2月2日，出台的文物在台北省立博物馆做出台前的展览，展览进行了7天，8日闭幕，2月11日开始装箱。
1961年2月14日，农历除夕，运送文物的美国“布瑞斯峡谷号”舰，驶抵基隆港口。这是一艘排水量在16000吨以上的驱逐舰母舰，船身庞大，舰长是美国海军少将克拉克尔先生。
“联管处”派往美国负责掌事的工作人员，因为工作的时间会很长，所以安排了轮流制度。那志良和李霖灿两位先生是始终留在美国的，其他三位先生，谭旦冏、庄尚严、黎子玉按照实际需要，各自在美工作了一段时间。五位先生负责文物的经营、展览、运输、保管等诸项事宜，对外交涉的工作由“外交部”派驻美“公使”杨云竹先生办理。
1961年3月8日上午9时，载着文物的美国军舰“布瑞斯峡谷”号，抵达了美国洛杉矶长堤港口，休整一天后卸船。先用卡车运到“三达菲”火车货运站，改装火车，3月10日下午1时半出发，3月15日下午5时到达华盛顿。
文物从火车改装上卡车后，直接到了文物展览的第一站，华盛顿国家美术馆。
文物在华盛顿国家美术馆停留了两个月，1960年5月28日到8月14日。照相、编辑说明书后，5月8日正式布展。在布展的过程中，得到了美术馆柯克先生和欧士琪太太的大力协助。这批文物需要特殊照料，不允许除了“联管处”工作人员外的其他人接触，美术馆的人也不行，所以文物的搬运和陈列都是那志良、李霖灿两位先生亲自动手。
文物展览后，得到了美国各界的大力追捧，每天的参观人数直线飙升，从5月28日正式开展的那一天，到最后的闭幕，展览共迎来了144358人，而且全程的展览都不售门票。
1961年8月21日上午8时，文物在华盛顿装上三辆卡车启程，押运员是那志良、李霖灿、谭旦冏（1961年4月5日被派往美国），三位先生坐在“大使馆”秘书刘龢先生的私人轿车里，一路跟在卡车后。下午5时，文物到达计划路线内的第二处展览点，纽约都会博物馆。
纽约都会博物馆大于华盛顿国家美术馆，机构也相对复杂，事情做起来就没有华盛顿那样顺利，陈列工作一直做到预展的下午才完成。展览开始于1961年9月15日，为期58天，11月11日结束。有155061人参观，这一次是售票的，每张五角钱，学生可以半价。
1961年11月，谭旦冏先生的工作告一段落，乘飞机回国，文物再用卡车转运到波士顿，押运的是“联管处”那志良、李霖灿两位先生，还有一位波士顿博物馆派来接运的曾宪七先生。
文物到了波士顿博物馆的第二天，“联管处”从台湾派来了替换谭旦冏的庄尚严先生。到11月30日，展览的准备工作完成，12月1日展览开幕，展览期间正是美国的圣诞节，同中国一样，美国人也喜欢一家人喜气洋洋地聚在一处，而且活动上也不太以参观文物这么严肃的事情为主。波士顿博物馆每逢周一休息，展览维持到1962年1月14日，参观的人数不到华盛顿的一半，只有47896人，也有售票，每张五角，学生半价。
波士顿展览闭幕的第二天，文物抓紧装箱，1月23日，改由火车运往芝加哥，芝加哥博物馆派了苏维尔先生过来接运，“联管处”的押运人是那志良、李霖灿及庄尚严先生。24日上午10时到达芝加哥。
芝加哥博物馆的这次展览，不论格调还是味道都与其他三处大相径庭。文物的展览按照惯常的规矩，要根据时代或品类严细分类后再陈列出来，可这次展览却搞了一个别开生面又独具一格的“艺术”展览，负责展览室布置的是苏维尔先生。《我与故宫五十年》里有这段特殊展览的记述：
这里的展览方法比较新，例如他把两件明洪武的釉里红，配上一件吉州窑，陈列在一个柜子里；康熙黄釉龙纹盘，配上一件红雕漆小瓶，为了使他颜色调和，五光十色，免去单调之弊。有人就批评这办法近乎橱窗设计，不合学术研究上的要求了。见仁见智，各有理由。
芝加哥的展览持续了45天，从1962年2月16日到4月1日。参观的人数59674人，同样售门票，票价五角，学生半价。
这次展览之后，文物装箱起运，仍要坐火车，4月12日下午3时到了奥克兰，转乘卡车直接到旧金山杨格纪念博物馆。展览从1962年5月1日到6月17日，这次展览是保护文物方面很独到的一次，参观的人每天进出只能隔着玻璃看到里面的书画，并不像其他博物馆直接挂在墙上的。展览结束，共招待游客108254人。这是计划中的最后一站，展览完毕文物起运回台。
1962年7月2日，出展文物，踏上了回台的美运输舰“Markab号”，7月5日军舰起航，途中曾躲过台风，一路无事。7月28日抵达台湾基隆港，随即运到台中的北沟库房。
1962年8月11日，文物回台后的展览，在台中北沟库房陈列室中举行，维持了10天的光景。
1961年文物赴美展览，曾经主持1936年伦敦中国艺术展览的英国爵士大卫德也赶到美国。李霖灿晚年的回忆中写道：“有一人非常喜欢瓷器，在第一站华盛顿他想摸汝窑的东西，但是这个绝对不可以摸。三个月后在纽约展览的时候他又来了，很伤脑筋，但还是不能摸，只能让他近距离地看一下。还有很多人想用某个杯子喝一杯酒，那都是不行的。故宫建立了一套非常严谨的典藏制度。”
文物赴美的展览可谓功德圆满，开篇就已经说了，它让美国人真正地认识到，东亚的文化是起源于中国，而不是以往讹传的日本。此后美国人受展览的震撼，决定出资在台湾建立一个大型博物馆，存放这些文物。1965年，“台北故宫博物院”在台北郊外建成，此次展览是功不可没的。
文物的展览也有千虑一失的地方，例如文物的说明卡片，所有的文物并没有注解，美国人看了上面的“商”或者“周”并不知道是什么时期。还有画上的图章，美国人很难理解，为什么一幅画上还要有奇奇怪怪的红色图章呢？而且有些画上还有很多？这些都是因为前期准备时的疏忽，所以展览时尽要工作人员上前解释。
文物迁往台北
中华瑰宝，故宫人视如己命的重要文物，存储在北沟这个偏僻孤静的小山村，谈论起来真不是一件儒雅巧致的事情。而且北沟库房渐渐破旧，不足的地方随着时间一一表露出来。新建的展览室又因为空间受限，每次只能摆出部分文物，这些都昭示着文物应从北沟迁出了。
为此“行政院”在台北近郊外双溪的小山下，选出了一块四面环山、林木葱翠，早有盛名的风景区，作为储存文物的库房新址。选好的基址周围，用水泥柱围出边界，写明“故宫中央博物院地基”的字样。
1962年6月18日，“行政院”举行新馆奠基典礼。此前“行政院”作出决议，“中央博物院”的文物全数由“故宫博物院”保管。典礼当天，下埋的基石上清晰地写着“国立故宫博物院新馆奠基”的字样。
1964年3月初，工程起土动工，整个建筑仿照南京朝天宫库房的样式，山前是四层的方楼，山内开凿出可供文物存储的山洞仓库。正馆的面积，四层累计起来，一共7204平方米。山洞开凿在山腰上，正面是正馆三层的位置，略呈蹄形，长180.5米，宽2.6米。山洞的墙壁和上面拱形部分，浇注了50厘米的钢筋混凝土，洞底则浇注了70厘米的钢筋混凝土，山洞库房与正馆的三层相通。正馆的最高层，也就是第四层是一个大的展览厅，依次到第三层是四个展览室，第二层是一个大厅和四个展览室，最下一层是一个演讲厅和若干办公室。
1965年10月，新馆的建造接近尾声，蒋介石到馆视察，得知开幕日期为11月12日国父诞辰日，便无意中说了句，“为何不叫中山博物院呢？”“行政院”院长严家淦，奉旨行事，决议改新址为“中山博物院”，暂由故宫博物院使用，将来“反攻大陆成功”，故宫和中央博物院各归其位，再成立一个新的“中山博物院”。此时建筑上的匾额已经做成了“中山博物院”字样。不知道缘故的人，总要问，为什么界碑上写着“故宫中央博物院”而基石上却写着“国立故宫博物院”，现在建筑的匾额上又出了个“中山博物院”。最有意思的还不是这几处，有两辆公交车，以博物院为终点站的，一路写着“故宫博物院”一路却写着“中山博物院”。
随着新馆的落成，“联管处”即宣告解散，故宫博物院决策和监督的机构也不再是理事会，而是改为“国立故宫博物院管理委员会”，委员会名单如下：
主任委员王云五
常务委员王世杰、李济、陈雪屏、连振东、叶公超、闫振兴、罗家伦
委员孔德成、丘念台、包遵彭、田炯锦、何联奎、余井塘、李宗侗（玄伯）、林伯寿、凌纯声、马超俊、马寿华、陈大齐、陈启天、张群、张厉生、张其昀、张道藩、庄尚严、程天放、黄少谷、黄季陆、黄朝琴、黄君璧、邓传楷、蒋复璁、钱思亮、谢耿民
故宫博物院内部组织：
院长蒋复璁副院长何联奎庄尚严
古物组组长谭旦冏书画组组长那志良
总务处处长周风森出版室主任黎子玉
秘书室主任王菐安全室主任史松泉
登记室主任李霖灿会计室主任周才藻
人事室主任詹冠南展览委员会执行委员汪继武
委员会的委员以及正副院长任期都是两年，两年以后，公选新人。
“中央博物院”的文物，由台湾“教育部”委托给“故宫博物院”保管。
1965年11月12日，国父孙中山诞辰日，故宫博物院举行开幕典礼。典礼当天，双溪格外热闹，在场的工作人员甚多，也有众多的嘉宾到场祝贺，典礼正式定名“新址”为“中山博物院”。
1965年12月9日，存于台中北沟库房的文物，开始分批运往“中山博物院”。在此之前曾有少量原北沟展览的文物迁过去展览。文物由卡车托运，10辆到15辆为一组，每天开出一组，宪兵队押车护运，中途不能停车，押运员只能在新竹的山边上吃很随意的午餐，早上出发下午可到。1965年12月20日，北沟库房文物全部运到了“新址”，文物分器物和非器物存放，器物存放“中山博物院”一楼大厅两旁的储藏室里，非器物文物存在山下物资局的库房里。
1965年，为存于物资局文物的安全着想，“中山博物院”扩建，在原来的基础之上，正楼的两边各盖起了四百多平方米的建筑，1967年建成。存于物资局的文物，中途因为消防不便，改存在“中山博物院”的演讲厅内，新楼已成，文物各有库房了。
1972年，“中山博物院”兴建图书馆，这也是“中山博物院”的第二次扩建。仍向原楼的两边发展，一共扩建了1740平方米。
1974年，山洞扩建，原山洞只能放下器物，这次扩建要将书画和善本书一并放进去，在原来入口往里走的右手边，新建了136.38米的新洞。