洪武三年，朱元璋复试，廖永忠劝孙蕡去应试，因为通过正统考试的官员是有前途的，孙蕡用他的才能在第二年试了试进士，为了实践他，朱元璋让他担任洪县县令，从此他被提升，然而，坏运气很快就来了，洪武八年，孙蕡的恩人廖永忠因侵地而被调查，他不仅入侵良田，还在家中任意雕刻龙凤的象征，朱元璋生气了，杀了廖永忠，作为廖永忠死前最重要的文人，孙蕡无法逃脱，孙蕡和廖永忠相互交流的信件很快就被发现了，虽然没有叛乱，但他们可以证明他们有密切的关系。
朱元璋把他降为劳役，成为建造长城的普通奴隶，作为一个书生，苦于苦役，他无法忍受，但孙蕡是一个有趣的人，他会自娱自乐，当他休息的时候，他会唱歌给工人们听，并引起工人们的钦佩，后来，朱元璋听说此事，就叫孙蕡回去恢复原来的位置，孙蕡是清官，七年后，他又一次被降职，因为他得罪了有权势的大臣胡惟庸，这次，他被送到辽东，在那里他又冷又苦，他没有亲人，想死在那里，不料，蓝玉将军率领军队北上蒙古，经过辽东时，他遇见了孙蕡，以前在廖永忠家里见过。
