然而，就是这样，朱元璋还是经常受到师父的责骂，师兄的欺凌，幼小的朱元璋只能默默忍受，或者把气撒到神像身上。
有一次，大殿上伽蓝神像前的蜡烛让老鼠咬坏了，一个老和尚看见了，就当众训斥了朱元璋。朱元璋被训后，非常生气，心想都是伽蓝神连自己面前的东西都管不住，害得自己受骂，于是，朱元璋就找来一管笔，在伽蓝神的背后写了"发配三千里"几个字。
但就是这种日子也没维持多久，朱元璋到寺里仅过了不到两个月，因为灾荒，寺里也撑不下去了，寺里的和尚包括朱元璋就被打发出山门，有两种选择，回家或化缘，朱元璋已无家可回，只能化缘。
"未谙释典，勉而游食"，朱元璋还未来得及读几句佛经，就下岗了，被迫托钵四处化缘，化缘其实就是乞讨。朱元璋乞讨了三年后，又回到皇觉寺。
