宋仁宗嘉祐元年(1056年)八月，孙沔迁资政殿大学士知青州，又迁观文殿学土知并州。谏官吴及、御史沈起上奏皇帝:"孙沔淫纵无检，任职杭州与并州时所为不法。"孙沔再徙寿州，仁宗派使者调查。使者查实孙沔犯有八宗不法之事:一、在处州时，于游人中见白牡丹俊美，遂予以诱奸;二、在杭州时，从萧山民郑旻处购纱，郑旻要价过高，孙沔恨之。后来孙沔发觉郑有偷税行为，孙沔查抄其账册，累计其偷税额万端，强征之;三、外州人许明有大珠百颗，孙沔妻弟以三万三千强买之;孙沔爱许明收藏的郭虔晖的《秋郊鹰雉图》，许明拒绝献给他。孙沔网织罪名予以缉捕，夺其画鹰图，将许明发配外地。四、孙沔白天让衙役将杭州金氏女以肩抬府中淫乱;五、有赵氏女已许嫁莘旦，让孙孙沔在西湖上见到，遂骗至府宅，"与饮食卧起";六、发配百余人，离职时毁其案卷，致使多人不能解脱;七、在并州时，役使吏卒往来青、麟州贩卖纱、绢、药物等取利;八、在官厅设大棒，暴怒时用以击诉事者;常以私刑剔盗贼后足筋致残。
奏报后，孙沔被撤职，贬宁国节度副使，监司也因失察皆受处分。《宋史》评论"沔颇知兵，而以污败"。其后，孙沔复职为光禄卿分司南京、驻宿州，遇恩赦，知濠州，以尚书礼部待郎致仕退休。孙沔"居官以才力闻，强直少所惮，然喜宴游女色，故中间坐废"。后世更有对孙沔全贬者，说他是"有才无德之小人"。
