之后，许敬宗投奔瓦岗军，被李密任命为记室，与魏征一起掌管文书。瓦岗军失败后，许敬宗又归顺唐朝。李世民听闻许敬宗的才名，将其招揽为下属。许敬宗才思敏捷，擅长起草文告，与杜如晦、房玄龄等人并列为"秦府十八学士"。
在李世民时代，许敬宗颇受宠信，官至检校礼部尚书、检校中书侍郎，加封银青光禄大夫。李世民曾经对许敬宗说"朕观群臣之中，唯卿最贤"，给予了许敬宗非常高的评价。
唐高宗李治时，许敬宗开始"大放光彩"。他得知李治有意废黜王皇后，改立武则天为皇后，于是就抓住机会，四处制造舆论说："田舍翁多收十斛麦子，就想更换老婆，何况天子欲改立皇后？这是皇帝的家事，与别人没有关系。"武则天因此对许敬宗另眼相看，心存感激。
