太宗即位，许敬宗也当上了中书舍人，金光大道就在眼前，可对的场合他却做了错的事，丢了乌纱。
贞观十年（六三六年），长孙皇后去世，轻佻的许敬宗竟然因为大书法家欧阳询长得丑，在葬礼上他就忍不住哈哈大笑。这一笑，笑掉了头上的乌纱帽，被贬到地方去了。
后来好不容易又混到了礼部尚书，却因为把小女儿嫁给少数民族首领冯盎之子，就是后来大太监高力士的曾祖，被人弹劾，又被贬到了地方。
因为性格以及人格的缺陷，许敬宗的仕途很坎坷。几十年过去，当年的同僚都已位高权重，而他只是个卫尉卿。虽然也是三品官，但只是个事务性官员，负责皇帝的车马，因此他一直郁闷得很。
