不过在朱元璋所在的洪武年间当官可不是一件容易的事，毕竟朱元璋对百官极其严格。而且他还是个出了名的残忍、猜忌。一个不小心就要脑袋搬家，因此很多官员的官当得战战兢兢，而严德明也是其中的一份子。在严德明看来，这种伴君如伴虎的日子实在是煎熬，活得紧张、憋屈。于是就萌生了辞官归隐的想法，但是苦于借口不充分。
说时迟那时快，没过几天，严德明居然生了病。于是他兴高采烈地写下一份奏章，向朱元璋提出自己生病了要辞官还乡养病。不料朱元璋接到他的奏章之后，勃然大怒。在朱元璋看来，自己对严德明如此器重和倚仗，他却把自己的好意当成驴肝肺。年纪轻轻就说什么辞官还乡，还说什么生病。这不明摆着不想在自己手底下混，藐视自己的权威么，才找了这么一个破借口。
一如既往残忍的朱元璋，还是没能放过严德明。于是就下旨驳回严德明辞官还乡的请求，另外还把他的官职剥夺，再将他发配到偏远的广西南丹县充军。并要在其脸上刺配"南丹正军"4个大字，以此用来惩罚严德明。另外还可以起到杀鸡儆猴的作用，看其他官员还敢不敢再无端挑战自己的权威。
