不过这家伙也确实不是个安分的，在写给许多官员的赠序中，他都喜欢议论政事，尤其是关于边防的策略。当时张居正主持国政，对蒙古采取抚和的方针，徐渭对此表示赞赏。
期间又过居庸关赴塞外宣化府等地，闻戚继光所云至辽东寻李成梁，教授其子李如松兵法，结识蒙古首领俺答的夫人三娘子。他在吴兑那里受到敬重，无奈身体不好，只得于次年春经北京回到家乡绍兴，注释郭璞《葬书》。
徐渭六十岁时，应张元忭之招去北京，但不久两人的关系就恶化了。据张岱的记叙，张元忭是个性格严峻、恪守礼教的人，而徐渭却生性放纵，不愿受传统礼法的束缚。
张元忭常常以封建礼教约制徐渭，这使徐渭大为恼火。他曾对张元忭说：“我杀人当死，也不过是颈上一刀，你现在竟要把我剁成肉糜！”
由于和老朋友的交恶，加上与官僚们交往受到不平等的对待，徐渭情绪郁愤，旧病复发，便于居京三载后重归家乡。此后，徐渭就再没有离开过山阴。
据说在晚年乡居的日子里，徐渭越发厌恶富贵者与礼法之士，所交游的大都是过去的朋友和追随他的门生。常“忍饥月下独徘徊”，杜门谢客，据说有人来访，徐渭不愿见，便手推柴门大呼：“徐渭不在！”
其中除在张元忭去世时往张家吊唁外，几乎闭门不出，他一生不治产业，钱财随手散尽，此时只得靠卖字画度日。但手头稍为宽裕，便不肯再作。倒是一班门生和晚辈的朋友，或骗或抢，常常得到他的杰作。
徐渭特别嗜蟹，许多题画诗记载了朋友们用活蟹来换他画蟹的经过。最后几年，徐渭身患多种疾病，大约画也不能常作，生活更为贫苦。
《徐文长文集》中有《卖貂》、《卖磬》、《卖画》、《卖书》诸诗，显示出徐渭凄凉的晚境。
直至万历二十一年（1593年），徐渭在穷困潦倒中去世，终年七十三岁。死前身边唯有一狗与之相伴，床上连一铺席子都没有。”
这回是帕查一口气报出了徐渭的生平，这也是她之前跟严一之在一起养成的习惯，记得在云省的时候，两人没事就喜欢说这些。
当时严一之知道帕查对这些有兴趣，可是高兴坏了，就差没把自己肚子里的东西倾囊相授了。不过他要是知道，帕查对了解这些东西有兴趣的原因是不想自己以后偷到赝品的话……
这画面太美，莘以墨不敢想了……
不过帕查看着一旁严一之满意的神色，确实满足的笑了。
莘以墨对徐渭此人不想评说，但不可否认的是，他的画确实不错。
“菊花昂立，菊叶垂聚，花朵簇拥，生机勃勃。菊叶以大笔刷写，挥洒自如。旁依修竹，竹梢低垂，与菊花相呼应，饶有趣味。
竹叶用笔潇洒，菊、竹下端衬以叶草，清姿逸态，淋漓尽致。笔墨干湿浓淡相宜相辅，一气呵成，韵味隽永，这画工，当真是……高！”