徐渭被褫夺了生员资格，以后的二十年时光，只好四处奔波“打秋风”。他到过南京、北京和宣化，老朋友吴兑和张元忭等都热情地接待过他，但是徐渭不能接受衙门规矩的约束，精神病又时好时发，只能返回绍兴，靠卖文卖字卖画度日。徐渭虽然既贫且病，却仍不改其“傲与玩”的本色。
徐渭晚年生活十分凄苦。他先变卖了衣物，再变卖藏书，到后来连书籍也卖光了，只能饿着肚皮躺在藳荐上。
万历二十一年(1593)，徐渭在贫病饥饿中离开了人世，是年七十三岁。
“吾书第一，诗二，文三，画四”
徐渭提倡为文为诗都要表现本真自我，他把这个叫做“本色”。
徐渭死时，身边一无所有，但他留给人间的精神遗产却是非常丰富的。徐渭的诗、文、书、画和剧作，在当时的文坛艺坛上都是第一流的。他的作品以鲜明的创造性和不可束缚的个性，开创了独特的流派，影响着千秋万代。
徐渭生活的年代，正是李梦阳、何景明等“前七子”和王世贞、李攀龙等“后七子”引领文坛的时代。前后七子为扫荡明初“台阁体”的萎靡文风，而树起“复古”的旗帜，提出“文必秦汉，诗必盛唐”的口号。这个复古运动声势浩大，“天下推李何王李为四大家，无不争效其体。”(《明史·李梦阳传》)但是他们盲目复古，以形式主义的模拟代替对文学遗产的合理继承，给文学带来了更深刻的危机。
在复古的文化生态中，徐渭有着自己独立的见解。徐渭强调诗文创作应该是自我表现与自我宣泄。他打了一个比喻说：“人有学为鸟言者，其音则鸟也，而性则人也。鸟有学为人言者，其音则人也，其性则鸟也。此可以定人与鸟之衡哉？不出于己之所得，而徒窃于人之所尝言，曰某篇是某体，某篇则否，某句似某人，某句则否，此虽极工逼肖，而已不免于鸟之为人言矣。”(《叶子肃诗序》)按这个标准，前后七子之“文比秦汉，诗必盛唐”，以及唐宋派散文之模拟唐宋，都不过是“鸟为人言”。徐渭强调的是作文作诗应“出于己之所自得，而不窃于人之所尝言也。就其所自得，以论其所自鸣”。
徐渭提倡为文为诗都要表现本真自我，他把这个叫做“本色”。
徐渭的本色观，是有其学术渊源的。徐渭的家乡是王阳明心学的根据地，是王学浙中派的基地。王阳明倡导“良知”之说，高扬主体精神，反对盲目崇拜偶像，鄙视烦琐哲学。主张独立思考，用自己的“灵明”去审视一切。提倡在任何艰难的的境遇中，都要保持自我人格。鼓舞人们建立自我实现的自足感，争取进入“出乎尘垢之外而与造物者游”的人生境界。徐渭的老师王畿、季本都是王阳明的弟子。他们从不同的角度，发扬心学的精义，给徐渭以深刻的影响。和徐渭关系密切的还有唐宋派领袖唐顺之。唐顺之晚年也崇尚王学，他说先秦诸子都有“一段千古不可磨灭之见”，是因为“各自其本色而鸣之为言，其所言者其本色也，是以精光注焉，而其言遂不泯于世。”(《荆川集》卷四《答茅鹿门主事书》)唐氏强调学贵自得，强调表现自我。这是徐渭本色论的直接源头。
徐渭提倡本色独创的主张很充分地表现在他的艺文创作中。
