正当在他一路顺风之时，他得罪了当时正为宰相的胡惟庸。胡惟庸以营建扰民罪，将他贬为嘉兴府知府。后来胡惟庸垮台，朱元璋再次将其提拔为工部尚书。他来京之后，朱元璋好奇地问："谗臣陷害你，你怎么不知道申诉啊？"薛祥则答道："臣不知道啊。"意思就是不管在哪里，都是为官，都是为民做事，贬斥与否又有何干。而且他很实心眼，被贬就认为是自己有错，应该如此。他从没有考虑过，这背后其实是有人主使的。做官做到这个地步，也是到了一定境界了。
朱元璋虽然为他申冤了，但是刚返任工部尚书的第二年，薛祥又因事得罪了朱元璋，被廷杖至死。一心做事，不考虑政治形势，不想着趋吉避凶，这样的结局其实早就已经注定了。尤其是朱元璋性格狠厉，一不高兴就杀人。像上面所说的工匠、奏报官员莫名其妙下就被诛杀了。认真做事的人太看重事务，而忽略了人际关系，反而特别容易得罪人。他能活到现在已经是难能可贵了。
参考文献：《明史》。
