徐茂公自知自己的身体状况，拒绝服药，他对照顾自己的子孙说：
“我山东田夫耳，位三公，年逾八十，非命乎！生死系天，宁就医求活耶？”
徐茂公让子孙，将弟弟李弼叫来，向弟弟嘱咐后事。李弼来到后，徐茂公突然说自己身体大好了，要招待弟弟。当场招来乐工奏乐，李弼真的以为自己的哥哥病要好了。等到众人离开后，徐茂公对弟弟说：“我大限将至，嘱咐你一些后事，你一定要牢记。”
李弼跪在地上，不住的哭泣，徐茂公给他擦去眼泪，拍了拍弟弟的后背，让他坐起来。徐茂公对弟弟说：
“明器惟作五六寓马，下帐施幔，为皁顶白纱裙，中列十偶人，它不得以从。”
他要求自己的墓中，不要陪葬太多的宝物，仅仅需要陪葬十个木头人。这时徐茂公担任太子太师，可谓位高权重，只陪葬十个木头人，确实有点寒酸。徐茂公再次嘱咐弟弟，不可擅改我的遗嘱，不然恐有大祸。
当年十二月三十一日，徐茂公溘然离世，享年76岁。唐高宗李治亲自前来祭奠，追谥贞武，赐给他棺木，陪葬在昭陵。武则天登基后，为何敢对这样一位忠臣下手呢？其实徐茂公对武则天还是有恩的。
当初，唐高宗想要立武则天为后，遭到群臣反对。唐高宗打定主意，和群臣针锋相对，就是要立武则天为皇后。在大多数人都不支持武则天为后时，徐茂公站了出来，对群臣说：“这是陛下的家事，理应由陛下自己做主。”
