嘉靖三十八年徐渭正式入胡宗宪幕府做“师爷”。此时的胡宗宪已是总督浙直福建军务都御史，权倾一时，威震东南。据袁宏道《徐文长传》说，胡宗宪聘徐渭做幕客时，徐渭提出一个条件，要求胡宗宪待之以宾客之礼，允许他随时可出入总督衙门。胡完全答应。徐渭在胡宗宪幕下，主要的工作是起草文书，也参谋军事。徐渭没让胡宗宪失望。胡宗宪把所得的白鹿献给皇上，徐渭代写的一篇《代初进白牝鹿表》送到朝廷，嘉靖皇帝“大嘉悦”。胡宗宪因此升俸一级，即更加器重徐渭，“一切疏记皆出其手”。徐渭的辛苦也得到相当丰厚的报酬，比如他代胡宗宪作了一篇《镇海楼记》，即得到胡宗宪二百二十两酬金，在绍兴营造了一处园林式住宅，取名“酬字堂”。
徐渭以自己的智慧获得劳务报酬的同时，也收获了精神上的痛苦。他在胡宗宪幕府中写了上百篇文章，有的表现了有价值的思想，大多数的文章却是奉命写作的应酬文字，徐渭自己很惭愧地称之为“大谀”的货色。比如，他曾代胡宗宪一连几次给最大的贪腐集团头子严嵩写感谢信和生日祝贺等，把严嵩吹捧得十分肉麻。可是此前徐渭的好友沈炼却因上书揭露严嵩的十大罪，被充军塞外，后又被腰斩。徐渭为此写诗作文，表示同情与愤慨。用同一支笔被迫作自我人格的撕裂，对个性强烈的徐渭来说该是何等痛苦的事！这可能是造成徐渭精神抑郁，导致精神分裂，引发精神狂躁的重要原因。
嘉靖四十一年，严嵩贪腐集团倒台，所有与严嵩关系密切的人都遭到清算。胡宗宪被逮削职，徐渭丢掉饭碗，回到绍兴。长期的精神抑郁，此时又加上一种政治恐惧，导致他精神分裂。他经常出现幻视幻听，感到有“祟”在活动。实际是担心胡宗宪案会有牵连，因为他是胡氏幕下很出风头而受宠信的师爷。精神恐惧使他陷入癫狂，终于决心自杀。他自己做好了棺材，并且写好了墓志铭，然后“走拔壁柱钉可三寸许，贯左耳窍中，颠于地。”(《海上生华氏序》)居然被游方郎中华氏救活。他又“以椎击肾囊，碎之，不死。”如此折腾九次，还是活了下来。
嘉靖四十四年，胡宗宪再次被械系至京，死在狱中。第二年，精神病患者徐渭创下了大祸，他怀疑续娶的妻子张氏有外遇，就把张氏杀了。他被革去了生员资格，关进大牢。徐渭在狱中一住就是七个年头。隆庆六年除夕，由于新皇帝登基，徐渭获释出狱，此时已经五十三岁。
