他是H国“泼墨大写意画派”创始人、“青藤画派”之鼻祖，其画能吸取前人精华而脱胎换骨，不求形似求神似，山水、人物、花鸟、竹石无所不工，以花卉最为出色，开创了一代画风，对后世画坛影响极大。
书善行草，写过大量诗文，被誉为“有明一代才人”。能操琴，谙音律，爱戏曲，所著《南词叙录》为中国第一部关于南戏的理论专著，另有杂剧《四声猿》、《歌代啸》及文集传世。
徐渭出生于一个趋向衰落的大家族。他的父亲曾经是大官。他爹的原配生了两个儿子，后来原配死了，取了填房，可没有生孩子，是到晚年纳妾才生下的徐渭，在徐渭出生百日后他爹就去世了。
虽然出生在官僚家庭，但徐渭早年的生活并不愉快。由于是庶出，而两个嫡出的哥哥又比他年长二三十岁，所以徐渭在家中也没有什么地位。
在徐渭十岁那年，他爹的那位填房把他的生母逐出了家门。幼年夺母，对徐渭是一个很大的刺激。虽然二十九岁那年他得以把母亲接回自己家中，但直到垂暮之年，他仍然不能忘怀这件事情。
徐渭生性极为聪慧，六岁读书，九岁便能作文，十多岁时仿扬雄的《解嘲》作《释毁》，轰动了全城。当地的绅士们称他为神童，比之为刘晏、杨修。
二十多岁时，徐渭与越中名士陈海樵、沈炼等人相交往，为“越中十子”之一。沈炼曾夸奖他说：“关起城门，只有这一个。”
据说在一次酒宴上，主人有意为难徐渭，指着席上一件小东西请他作赋，暗中却命童仆捧上丈余长的纸卷。徐渭立身把笔，一气写尽，惊倒了满座的人。
另有一个关于徐渭的小故事，也能凸显他的聪明才智。在他年幼时，还在上私塾，老师看他聪明伶俐，便要考考他，让他拿着两个水桶去汲水，期间要度过独木桥，当时徐渭尚小，力气也不足，自是困难。
但是塾师看见徐渭高兴地抬水回来，惊问方法，他高兴地说：把水桶放水里自然轻松多了！
当时尚无浮力一说，徐渭的聪敏，让老师大加赞赏。据说这个故事还被搬上了H国学生的课上。
不过自幼以才名著称乡里的徐渭，一向颇有些自负自傲，对功名事业充满了向往，然而在科举道路上却屡遭挫折。
二十岁那年，他才考中了秀才，此后多次参加乡试，直到四十一岁，考了八次，始终也未能中举。其间还经历了丧妻之痛，以教书糊口，直到三十七岁时应胡宗宪之邀，入幕府掌文书。
徐渭在科举中一再失败，并不是偶然的。他暮年作《自作畸谱》，还特地记下了六岁入学时所读的岑参《和贾舍人早朝》诗句：“鸡鸣紫陌曙光寒”，流露出无穷的人生感慨。
不过老天似乎并不眷顾他，嘉靖年间，东南沿海遭受倭寇的频繁侵扰，由于兵备松弛，官吏无能，给人民的生命财产带来惨重损失。徐渭一方面以诗歌对此进行尖锐的抨击，一方面满怀热忱地投入到抗倭战争中。