蔡京被贬徙到杭州，寂寞度日，好在他有特长，写字画画，不致太寂寞。
宋徽宗赵佶是中国历代帝王里对书法绘画金石篆刻最钟情、最痴迷又最有造诣的一位。——莫非上天弄错了，这位前世就应当托生为文人？徽宗身边有一位宠信的宦官叫童贯，很会迎合主子的喜好，徽宗即位不久，童贯主动请缨到江浙一带去为皇上搜罗采办字画珍玩。字画属于高雅艺术品，要找真正懂行的玩家才行，否则给皇上弄一堆赝品回去，那还不得掉脑袋？在当时的书画界，蔡京可是大名鼎鼎的权威式人物，蔡京的书法在宋哲宗初年就已名噪一时，无人能敌，据说有一次大热天的，两位小吏手执团扇左右站着给蔡京扇凉，蔡京一高兴，为奖赏这二位，在每人的扇子上各书一首杜甫的诗，这两位后来拿扇子卖了个天价，买扇子的人是谁呢？正是当时还在做端王的赵佶。
蔡京恰巧徙居杭州，童贯自然先找到他。蔡京自到杭州整天闷闷不乐，突然见皇上身边的亲信宦官来访，忙迎出门来，待其说明了来意，蔡京顿时热血沸腾，当今圣上偏好这个，看来东山再起为期不远了。他美酒盛宴招待童贯，又不辞辛苦每日陪着童贯游山玩水、走东串西，访求稀世珍藏。期间，蔡京不忘使出浑身解数，拿出看家本领，挥汗如雨精心制成多幅墨宝，交给童贯顺便带进宫去敬献皇上，——自然少不了童贯的。徽宗得到蔡京的亲笔，加上童贯的一番美言，对蔡京的看法有了转变，渐渐生出召之入朝重新启用的意思。
一个偶然的机会，蔡京听说道录司（主管道教事务的机构）的徐知常，近期常去宫里为元符皇后画符治病，他一向跟这位徐知常有来往，看准这是个机会，挥毫泼墨、妙笔丹青绘制了几十件作品，每一件上都把落款“蔡京”两个字写得极为醒目，托徐带进宫中分送后妃和宦官们。得了蔡京的厚礼，徽宗身边人都不断夸赞蔡京。
徽宗皇帝即位前还有一个爱好，就是喜欢玩花石，登基之初为了修景灵西宫，从苏州、湖州采来精美的太湖石四千多枚，徽宗见着了五颜六色的石头心里那个痒痒呀，碍于当时方继大统，怕惹人非议，他没有让人到南方再去搜求。派童贯到杭州这一趟，除了字画，兼着采办的就有花石。蔡京在这件事上颇有创意，不仅帮了童贯的大忙，更重要的是换来了徽宗皇帝的龙颜大悦，他给童贯引荐了一个叫朱勔的人，专门在苏州设立了花石应奉局，为皇帝采办花石。蔡京的儿子蔡攸见父亲进花石得到皇帝的赞赏，也带人采进。
对于这个能迎合自己嗜好的行家蔡京，徽宗其实早就想将其弄到身边来，当听到身边的人都称赞蔡京时，他来了个迂回提升，先给蔡京挪了个地方，调去知定州（今属河北保定），不久又徙大名府（河北大名）。这时候朝中两位宰相韩忠彦和曾布相互争斗，奸人曾布欲挤走韩忠彦，便想拉蔡京来做帮手。字画、花石的作用加上曾布的意外荐举，宋徽宗崇宁元年（公元1102年），蔡京终于重返朝廷，复为翰林学士承旨，不久即拜尚书左丞。
站在曾布的角度来看，他与蔡京的关系无异于“农夫与蛇”。蔡京拜尚书左丞不多时，便不再把曾布放在眼里，遇事常与之争论不休，两人在徽宗面前开始互相诋毁。皇帝身边的人都向着蔡京，所以徽宗听到的更多的是曾布的不是，正在这节骨眼上，曾布提出要提拔他的亲家陈佑甫做户部侍郎，蔡京趁机上奏：“爵禄乃是公器，如何使宰相私给亲家？”徽宗皇帝以此罢曾布为观文殿大学士，出知润州（今江苏镇江）。蔡京仍觉得不够，接着诬告曾布受贿，命开封府抓来曾布的几个儿子刑讯逼供，最终将曾布贬作提举太清宫，置太平州居住，没几年便一命呜呼。收拾了曾布，徽宗与蔡京这两个志趣相投的玩家，终于可以畅快地在一起品书赏画、尽情于闲情逸致了。皇帝随即任命蔡京为尚书左仆射，兼中书侍郎，主持朝政。
当时朝野内外的人得到蔡京做宰相的诏书，都不无惊讶，不敢相信一个心术不正、阴险而仅仅擅长书艺的小人，怎么能帮助圣上打理国事。——在皇朝天子的眼里，阉人都可以问政，何况进士及第的蔡京呢，说你行你就行，不行也行；再者，蔡大人那一笔妩媚飘逸的书法，你们谁能写得来呢？与君彻夜谈诗论画，你们哪个能做到像他那样见解独到妙趣横生呢？
一对玩家在一起，蔡京首先当然是先满足皇帝的雅兴，再展开自己的谋划。一开始，徽宗也曾问过蔡京，“今朕相卿，卿将何以教朕？”现在朕拜你为相，你怎么帮助朕来治理天下呢？蔡京在当朝理政上确实属于半瓶子醋，又暗藏自己的心思，所以只好笼统地表哥态：陛下您就放心吧，“臣愿尽死力以报陛下。”其实蔡京想的是，陛下您不是酷爱艺术吗，喜欢花鸟奇石吗，您就专心玩您的得了。
果然是知音，徽宗皇帝拿出他收藏多年的玉盏、玉卮给蔡京看：“朕制此器已久，惟恐人言过奢，故未曾用。”这一对玩意儿在朕手里有日子了，朕没好意思拿出来用，怕人家说咱太奢华。玩伴是什么？玩伴就是懂得欣赏又相互鼓励启发，蔡京道：“于人言何足畏，陛下当享天下之奉，区区玉器，又何足道？”做天子的就应当享尽人间美物，几句闲话有什么可怕的，小小的几件玉器有什么不能拿出来把玩享用的！——有这样贴心贴肺的臣子，皇帝还不放心胆大地去玩了！
徽宗沉浸到他的乐子里去，蔡京方便行事了，开始了他的报复行动。借徽宗之手，蔡京带上儿子蔡攸与几个亲信，展开了对元祐党人的清剿。首先废除元祐时期颁布的各种法令，连那时的许多诏书也给烧了；接着一一列出所谓的奸党名单，文彦博、司马光、吕公著等名望素著的人物均在其中，蔡京央求徽宗挥洒一下他的瘦金体书法技艺，御笔书写，然后命人刻在端礼门的石碑上，称作党人碑，以示惩戒。在人身陷害的同时，蔡京有些丧心病狂了，他要把有关这些人的一切痕迹都抹得干干净净，下令把其中许多人的著作销毁，苏洵、苏轼、苏辙父子以及黄庭坚、张耒、秦观等人的文集及其印版，统统付之一炬，若不是有人指出《资治通鉴》是神宗皇帝做的序文，司马光编纂的历史巨制也必遭厄运。进而派人捣毁了景灵西宫悬挂的吕公著、司马光、吕大防、王岩叟等人的画像。
小人万万不能让其得志，是因为小人一旦得志会异乎寻常地疯狂。蔡京气愤打击元祐老臣、为他的上司王安石等新党出气，倒是多少可以理解，但发展到后来，什么元祐老臣、元符建言者，任何一个与蔡京有过个人恩怨或意见相左的人，一律格杀勿论，都成了打击迫害的对象。章惇、曾布可以说是蔡京曾经的同党，照样被划入奸党之列，甚至连他的亲弟弟蔡卞，不过是在使用童贯的问题上表示了几句反对意见，蔡京即怀恨在心，将其贬出知河南府。总之，凡是蔡京看不顺眼的人、厌恶的人，统统送你一顶奸党的帽子，打入冷宫。
至此尚未罢休，徽宗皇帝与他的这位臣子珠联璧合，联手欲置政敌于万劫不复之地，连其家族子孙一概都不放过。崇宁二年（公元1103年）三月，徽宗下诏：“元祐及元符之末党人亲子弟，不论有官无官，并令在外居住，不得擅到阙下。”如此一来，株连到了无数无辜的人。
这一阶段的蔡京实在是玩得太大了，——实则是皇帝赵佶玩得太痴迷了。后世对蔡京奸诈、阴险、毒辣的评价，多取材于这一阶段。针对元祐党人展开的疯狂地打击迫害，在当时是很不得人心的，人们恨在蔡京身上，似乎忘记了诏书都是赵佶下的。蔡京呈送的字画奇石一批一批运进京城装饰了万寿山（艮岳），皇帝专心致志地在斗鸡走马，百姓们并不怨恨，眼睛只盯着恶人蔡京。实事求是地讲，江山社稷的兴衰、人民的祸福，在封建专制条件下，首先取决于那个坐在龙椅上的天子，取决于其英明与昏庸、勤奋与懒惰。赵佶就是一个荒淫无能的主子，一个拿家国黎民生死冷暖当儿戏的昏君，一个不务正业贪图自我享受的玩家，恰巧遇到了一位与之臭味相投的知己蔡京，这才是国人悲剧命运的根源。这样一对伙计执掌江山，一切都是他们玩乐的舞台和道具，而蔡京充其量不过是一个可悲的配角。他自以为大权独揽兴风作浪，视他人若草芥，自鸣得意地玩众人于股掌，岂不知自己也是天子笼中的一只啁啾的花鸟。赵佶玩弄他的时候还在后头。