公元前82年，杜延年向霍光建议"行文帝时期政策，提倡节俭、对民宽和"，霍光采纳，诏令三辅、太常各举"贤良"二人，各郡国察举"文学"一人。其实，霍光提出"与民休息"，已经开始对桑弘羊动手了。
第二年，霍光召集抵达京师的贤良文学（贤良方正所选拔出的人才），商议罢黜盐、铁、酒等专营政策，会议在京师隆重召开，持续了五个月。贤良文学反对官营政策，桑弘羊却要继续推行这一政策，双方展开了激烈辩论，但其中身为朝廷一员的霍光却倒向贤良文学。
最终，汉朝仅仅废除郡国酒榷和关内铁官，其他各项政策仍维持不变，但盐铁之议却带来两个显著效果：1，桑弘羊在政治上受到一定的挫折，威望开始下降；2，霍光借助贤良文学，提出"与民休息"政策，赢得了比较广泛的舆论支持。
公元前80年，桑弘羊卷入燕王刘旦和上官桀父子的谋反事件，牵连被杀。
