《清明上河图》的收藏可谓是历尽磨难。张择端完成这幅歌颂太平盛世的历史长卷后，首先将它呈献给了宋徽宗。宋徽宗因此成为此画的第一位收藏者。作为中国历史上书画大家的宋徽宗酷爱此画，用他著名的“瘦金体”书法在图上亲笔题写了“清明上河图”五个字，并钤上了双龙小印。然而此部分今天已不复存在，这有两种可能，一是作品流传太久，经常被人玩赏，慢慢地开头部分就坏掉了，后人重新装裱时就干脆把这一段破损处裁割掉；一是有人故意将此部分裁截下来，单做一幅画另卖高价，这种事在历史上屡见不鲜。
这件享誉古今中外的传世杰作，在问世以后的八百多年里，曾被无数收藏家和鉴赏家把玩欣赏，是后世帝王权贵强取豪夺的目标。它曾辗转飘零，几经战火，历尽劫难；它曾经五次进入宫廷，四次被盗出宫，历经劫难，演绎出许多传奇故事。
（一）靖康之难，流出宫外
在《清明上河图》题跋当中，今天能见到最早的是金代人张著的题跋，以后便是元朝人的题跋，而无南宋人的题跋和任何收藏印记，证明该图未曾流传到南宋而仍然留在北方，这是怎么回事呢？原来它牵涉到一桩特大的窃夺案。
北宋王朝的建立，始终没能解决与北方辽、金、西夏等政权的纷争。先是与辽、金连年不断地发生战争，割地赔款，屈膝求和。1126年，金兵大举南下，直抵汴京。金兵破城以后，杀人放火，搜刮财物，把宋徽宗、钦宗、后妃、公主、宗室、大臣三千余人，以及各种文物、图书、档案、天文仪器和技艺工匠等全部掳掠而走。
在这一次掠夺中，就包括了《清明上河图》。但奇的是，《清明上河图》却没有归入金朝皇宫，而是流传在民间。现卷后贉纸最早的题跋，是张著、张公药、郦权、王磵、张世积等，都是北宋灭亡后留下的遗民。他们展视此图，缅怀故国，昔日的繁华今已成瓦砾，感慨系之，题诗以咏。但是此图为何人所有，他们在何处观看，谁都没有说明，以致今日难以查考。想当时金兵入城，一片混乱，有人趁火打劫，将宫中财宝藏匿，据为己有，是情理中的事情，《清明上河图》可能就是这样从皇宫中被偷盗出来，第一次流入民间。
蒙古人灭金吞宋，建立元朝之后，统治者到处搜刮财宝，《清明上河图》再次进入宫廷，为皇家所有。
（二）装裱匠以假易真，二次出宫多辗转
到元代后期的至正年间，宫内有一个装裱匠看准了《清明上河图》，趁装裱这件作品的时候，用了一个调包计，用一个临摹本把真本偷换出宫，悄悄地卖给了某贵官。贵官后来被派到真定（今河北省正定）驻守，负责保管这幅画的人，又偷偷把它卖给了杭州人陈某。陈某保存了数年，因为家境窘迫，想得到一笔钱用，并且又听说某贵官快要从真定回来了，害怕事情败露连累到自己，因此急急忙忙要找一个买主，秘密卖掉。恰好这时寓居北京的江西泰和人杨准，是个博雅好古之士，在京搜访古名家笔迹，得到这个消息，倾尽囊中所有，以重金收购。
杨准得到《清明上河图》是在元至正十一年（1351年），不久即回到老家，画也随他到了南方。他得到这一作品，喜不自胜，第二年，就把得到这一名作的经过详详细细地记录在图后的尾纸上。《清明上河图》第二次从皇宫里偷盗出来的细节，就这样被清晰地记载下来。同年秋，江西新喻（今新余县）人刘汉在杨准的家里见到这一作品，他是行家，对作者高超的技艺钦佩得五体投地，在杨准之后也写了一个跋，称这一作品为“希世玩”，要杨氏子孙永远“珍袭”。可是，仅仅隔了十四年，即元至正二十五年（1365年），《清明上河图》已经到了静山周氏的家里。究竟是杨准自己卖掉的，还是在他死后子孙卖掉的，不得而知。
根据图后李祁、吴宽、李东阳、陆完等人的题跋，以及有关文献记载，《清明上河图》在静山周氏之后，曾经为蓝氏、吴氏收藏，到明弘治年间，则为大理寺卿朱文徽所有，吴宽见到此图，和李东阳三十年后再见此图所写的跋，都是在朱的家里。其后就到了徐溥的手里。徐溥，江苏宜兴人，景泰时中进士，累官至华盖殿大学士，在他临终前，说是李东阳的叔祖李祁的字迹在上面，就命他的孙子中书舍人文灿把这一名作赠送给李东阳。李东阳是湖南茶陵人，天顺时中进士，官至文渊阁大学士。他是一名书法家，也是鉴赏收藏家，他的长诗和长跋，对《清明上河图》推崇备至，评价极高。
（三）陆夫人绣枕藏画
明嘉靖三年（1524年），《清明上河图》转到长洲人陆完的手里。陆完字全卿，成化年间（1465—1488年）中进士，官至太子少保、兵部尚书，名重一时。曾经接受宁王朱宸濠的巨额贿赂，为其在朝廷说话。后来因朱宸濠谋反作乱被抄家时，发现有与陆完往来信件而被捕入狱，本当处以死刑，因念及他镇压河北刘六、刘七的农民起义有功，改判为谪戍福建靖海卫，最后死在卫所。明代李日华《味水轩日记》载：陆完死后，他的夫人将《清明上河图》缝入枕中，不离身半步，视如身家性命，连亲生儿子也不得一见。陆夫人有一娘家外甥王某，言辞乖巧，非常会讨夫人欢心。王某擅长绘画，更喜欢名人书画，便挖空心思向夫人央求借看《清明上河图》。反复恳请后，夫人勉强同意，但不许他带笔砚，只许他在夫人阁楼上欣赏，而且不许传给别人知道。王某欣然从命，往来两三个月，看了十余次以后，竟临摹出一幅有几分像的画来。当时专横跋扈的大奸臣严嵩正四处搜寻《清明上河图》，都御史王忬得知后，便花800两纹银从王某手中购得赝品，献给严嵩。严嵩府上有一装裱匠汤臣，认出画是假货，便以此要挟王忬，令其出40两银子贿赂自己，但王忬对其不予理会。汤臣恼羞成怒，在严嵩设宴欢庆时，将图上旧色用水冲掉，严嵩在众人面前大为窘迫，以后便寻机将王忬害死，临摹此画的王某也因此受到牵连，被抓去饿死狱中。
实际上，陆完死后，其儿子急等钱用，便将《清明上河图》卖至昆山顾鼎臣家，后被严嵩父子强行索去。这之前严嵩确曾托王忬买过“名画”，王忬也确曾买苏州人王彪之摹本献给严嵩，后被识破。
隆庆时，严嵩父子被御史邹应龙弹劾，终于官场失势，严世蕃被斩，严府被抄，《清明上河图》再度收入皇宫。
（四）云笼雾罩三次出宫
《清明上河图》第三次入宫以后不久，社会上又流传着这样一个故事：当年严嵩的家产被查抄，图书字画都送入皇宫。隆庆皇帝不大喜欢这些玩意儿，而成国公朱希忠却嗜好书画，想得到这批字画，谋于内廷，当事人奏请皇帝，皇帝指示估成高价，算是抵他的薪水。当价估好以后快要发给朱希忠时，有一个小太监知道《清明上河图》估价最高，就私自打开箱子将画偷窃到手，正要往宫外走时，管事的人来了，小太监一急，就把画藏在水沟的石罅中，恰好当天晚上下大雨，水涨将石罅淹没了。这大雨一连下了两三天，等到雨停云散后，小太监去沟里取画时，画已腐烂得再也收拾不起来了。
故事被明朝人詹景凤记录在他著作的《东图玄览编》一书中，绘声绘色，好像是他耳闻目睹的一样，其实这个故事完全是捏造出来的，因为一个简单的事实，即《清明上河图》今天安然无恙地保存了下来，而且没有任何泡水的痕迹。按故事中的说法，它应当不复存在，即使存在，那也是破烂不堪、污迹斑斑的。那么，人们为什么要造出这样一个故事来呢？它也不是空穴来风，这中间又包含一桩大的阴谋盗窃案。
今人考证《清明上河图》在明嘉靖三年（1524年）陆完题跋后，紧接着就是明万历六年（1578年）太监冯保的题跋。两跋相距五十四年。在这五十四年中，《清明上河图》已五易其主，即从陆完家到顾鼎臣家，再到严嵩家而入内府，然后落到冯保手里。冯保的题跋全文是：“余侍御之暇，尝阅图籍，见宋时张择端《清明上河图》，观其人物界画之精，树木舟车之妙，市桥村郭，迥出神品，俨真景之在目也，不觉心思爽然，虽隋珠和璧，不足云贵，诚希世之珍欤！宜珍藏之。”冯保跋再一次证实，《清明上河图》确实进入到了明朝内宫，并且还经皇帝亲自过目。但是，冯保的题跋有一个最大的疑问，即这件名画如何从皇帝那里转到他的手中来呢？如果是皇帝的赏赐，他必会大书特书，因为这是他最大的荣耀，然而他没有这样写，那么只有另一种可能，即偷盗！
冯保是何许人，他有没有这个作案的动机和条件？查一查他的身世，便一目了然。原来这冯保是深州（今河北深县）人，号双林。嘉靖时为秉笔太监，隆庆元年（1567年）提督东厂兼管御马监。隆庆六年（1572年）穆宗病危，立即召内阁大臣高拱、张居正、高仪等至乾清宫，同受顾命。冯保当时已升为司礼监掌印太监，穆宗不能说话，即由他来宣读顾命。穆宗死后，万历皇帝朱翊钧即位，年仅10岁，冯保假传遗诏说是“阁臣与司礼监同受顾命”，意思是大臣和太监共同来辅佐年幼的皇帝。这样的遗诏是违反常理的，大臣们都觉得奇怪。在小皇帝登基举行仪式的时候，冯保始终站在皇帝宝座的旁边，当大臣们向新皇帝跪拜朝贺的时候，当然也面向了他，满朝文武无不感到惊骇。之后，冯保即把司礼监、东厂大权都揽了过来，兼总内外大权，势力越来越大。冯保何以能如此？在宫内他所依仗的是皇帝的母亲李太后，宫外结交的是权臣张居正。张居正为了巩固自己的地位，排挤政敌，推行改革，也需要冯保的力量。直到后来皇帝长大亲政、李太后不干预朝政、张居正也去世，冯保才失去依靠被逐出了宫廷，在南京安置，后来死在那里。