久而久之，孙蕡的名声传了出去，加上他原本就因才华有些名气，所以得到大学士宋濂的举荐，被召进京做了翰林典籍官，参与修撰《洪武正韵》。按照孙蕡的才华，将来得到重用，也只是时间问题。可是他运气却不怎么好，没多久，就受到牵连被罚。
受到谁的牵连呢？正好就是当初举荐他的大学士宋濂。宋濂是明初时期著名的文学家、思想家、政治家、史学家，朱元璋称其是"开国文臣之首"，还让他当了太子朱标的老师。宋濂一向主张"宽仁治国"，这一点朱标也受了他的影响。
然而洪武十三年，由于宋濂的孙子宋慎，牵连进胡惟庸的案子，导致宋濂一家被惩治。朱元璋原本想处死宋濂，还好有马皇后和朱标极力劝阻，这才改为流放。不过这样一来，得到宋濂举荐的孙蕡也被牵扯进来，被罚去修城墙。
前面说了，孙蕡这个人性情豁达，所以即使被罚修筑城墙，他也保持着一颗可观的心，甚至还唱起了歌。孙蕡是今广东顺德人，因此他唱得都是粤语，监工的官员听不懂，害怕他唱的是什么反词，只好禀告朱元璋。
