成年后的徐渭没有"长残"，人称其所作诗文有"超轶千古的不羁之感"。嘉靖二十年的时候，徐渭二十一岁了，但是他没有娶亲，而是来了个倒插门，惊呆了众人的下巴。岳父是潘克敬，绍兴有名的富户，同时还是个典史（县令的佐杂官）。
徐渭在协助岳父整理公文的时候，慢慢地对官场也有了了解。徐渭二十岁时就考中了秀才，但直到四十一岁时也未能中举。此外，他在二十五岁时，所有动产不动产都被豪绅无赖给霸占了，次年自己的妻子也因病去世，可说是家破人亡了。
为了谋生，徐渭不得不背井离乡。打过零工，教过私塾，混饭吃的同时，他还不忘研究政局，还曾痛斥权臣严嵩。嘉靖三年，倭寇来犯，平时读过的兵法派上了用场，徐渭积极参战，出谋划策，展示了自己的军事才能，得到了赏识。
赏识者谓谁，浙闽总督胡宗宪。就这样，徐渭终于成了一位幕僚，而且是总督的幕僚，可喜可贺。好景不长，因官场颠簸，胡宗宪受到了弹劾，徐渭被迫离开了总督府。后来胡宗宪被捕入狱，并死于狱中，原先身边的幕僚多被牵连。
