乾隆二十六年（1761），历经前朝的积累，清朝此时的国力殷富。皇帝除了准备庆祝（南巡）之外，还想出一个奇特的纪念方式，即把皇宫内苑的中海东岸的紫光阁重新修缮一番，要依照古代凌烟阁的故事，也把一百位文武功臣的画像陈设在阁中，按他的设想，阁中四壁还要有巨幅战场的景象，才显示出其恢宏的纪念意义。这样臣子们就有了一项任务，要广纳画功精湛的画家来画才行。于是，和曹家颇有渊源的富察家的人，包括封为公爵的傅恒和他族内“明”字辈的人，便都想到曹雪芹身上来了。因为他们和曹雪芹还时不时地有联系，知道他善能画画。另外，自从雪芹在江南走了一趟后，他的诗才画艺声名鹊起，渐渐传于众口了，皇家的如意馆（专门掌管宫内书画之事的机构）得知他回京来后，便马上搜访他的踪迹。怎奈他住的地方十分荒僻，使得找寻之人大费奔波之苦。连那人踪罕到的“跌死猫”的樱桃沟，也不得不去踏探了好几次。在黄叶村一带，也不止一次有人寻来，打听他的名姓和地址。潜心著书的曹雪芹听说此事后，便干脆躲了起来，不想见那些俗人。他早已看破官场的丑恶嘴脸，也不想去为某个什么功臣做画画之类的事情了。曹雪芹在山村中的生活，算是穷得可以，他食粥，卖画，过着清贫而清静的日子，对于致力于著书的他来说，这已经够了。
早些年，雪芹曾经在内务府充当笔贴式、堂主事的职事。那时，他曾经有一次看到过紫光阁，知道那是一个很重要的地方，皇帝常在那里举办上三旗侍卫较射，取武进士，赐宴外藩的王公等大事儿。紫光阁紧邻着西苑皇家的苑圃，曹雪芹记得他的祖父写过不少西苑景色的诗词，康熙曾在苑中丰泽园的御田里种过胭脂米，并把这米赐给曹、李两家，也为李煦种了祸根（后引来雍正追查）……雪芹想起之前种种，更是对苑召画工的事厌烦不已。可巧的是，或许在雪芹友人的指点下，傅家的差人竟然找上门来了。雪芹躲起来不接待他，烦一位老者替他看家待客。差人用假谦恭真倨傲的口气向老者说明了来意，口里称着“公爷”（傅恒封为忠勇公）的美意，说是请曹二爷出山去宫里画像，画成之后，圣上会赏给官职，从此就不会再过这样的穷日子了。雪芹在里面听着，觉得不屑一顾，巴不得他马上就出去。
那个头一次扑了个空，过了两天又来了。曹雪芹想，你这是不达目的不罢休啊。也罢，让你绝了念想才好。于是，这回他接待了那差人，耐着性子再一次听他讲述了来意和那套“恩赐”的话后，微微一笑说道：“我刚写了一幅字，您抄回去替我回禀公爷吧。”说罢取出一轴字幅，展开看时，那字写得风流潇洒，上有一诗：“捐躯报国恩，未报身犹在。眼底物多情，君恩或可待。”差人不通诗文，只得抄回去带给傅恒家的人看，之后傅家虽说雷霆大怒，因想到之前跟曹家老先生的关系，才忍了一口气，没有将此事告发。后来才知道，大约是有人帮他说了好话：“他不来，没这福分，就算了，何必为这么一个下流人费手脚。”因此，幸而没有遭到狂言招祸的大麻烦。
曹雪芹的朋友们知道此事后，无不替他暗捏一把汗。为这回雪芹拒绝苑召的事情，张宜泉十分佩服雪芹，他感而题赠诗，那诗写道：“爱将笔墨逞风流，庐结西郊别样幽。门外山川供绘画，堂前花鸟入吟讴。羹调未羡青莲宠，苑如难忘立本羞。借问古人谁得似，野心应被白云留。”诗的五六句分别用李白和阎立本的典故来赞扬了曹雪芹的不肯为官家服务的高尚品格。（李白被召入皇宫，受到宠幸，作诗称赞了杨贵妃，她亲手调制一碗羹汤赏给李白。阎立本被召入宫为功臣画像时，在皇帝的命令威严下，匍匐于地上，辛苦备尝地画那些他不愿画的大人物们的肖像，他愤懑极了，回家告诫儿辈说：你们千万不可再学这种技艺，学得有过人的本领，只不过换来我这种耻辱！）
后来敦氏两兄弟也知道了这件事，他们不禁拍案称奇，敦敏在雪芹画的一幅巨石之旁，题一七言绝句诗曰：“傲骨如君世已奇，嶙峋更见此支离。醉余奋扫如椽笔，写出胸中鬼垒时！”“鬼垒”，也被写成“块垒”，比喻人心中有不平之事，郁结难消。敦敏都用石字偏旁，是特意关合画石的主题，也是把雪芹比作嶙峋的石头，十分巧妙。渐渐地，雪芹的朋友圈都知道了这件事，大家都认为是少有的稀奇事。
曹雪芹的清风傲骨，在当地人人尽知，个个称异。在他们看来，放着好日子不过，偏要去守那穷得叮当响的日子，真是“都云作者痴，谁解其中味？”却不知，富贵的日子，他过过，贫困的日子，他也过过，在他看来，都只不过是浮云罢了。唯有一件事是他执着的，那就是他的《石头记》，从未曾放弃过。后有研究者认为，雪芹拒绝“苑召”的傲骨令人起敬，可正因如此，以至紫光阁内没能保有他的一幅画作，从另外一个角度而言，这不能不说是一件遗憾的事。