不久，唐高宗要废王皇后，立才人武氏(即武则天)为皇后，此事在朝中引起轩然大波。以长孙无忌、褚遂良为代表的元老重臣们都纷纷反对，只有徐茂功一人称病而不表态。经唐高宗再次询问，徐茂功说：“此陛下家事，何必更问外人。”后世对徐茂功不反对立武后一事颇有微词。但我们也要看到，无论外臣权位有多高，血缘有多亲亲，掺和入宫闱之事无论成败，最终都难逃劫数。徐茂功像当年不参与玄武门兵变一样，选择了置身事外，实属明智选择。
事实证明了徐茂功的远见卓识。由于在废王立武事件中触怒了唐高宗，凌烟阁二十四功臣排名第一的长孙无忌虽贵为唐高宗的亲娘舅，最终也被诬谋反，全族或杀或流放，长孙无忌本人也被迫自缢身亡。
真实历史中的徐茂公并不会风水法术，但是，此人的军事素养和对人情世故的理解确实很高，多年来的仕途经历让他造就了谦逊平和的性格特点，在历经唐高祖到唐高宗三任帝王的五十余年间，他一直备受君王恩宠，即使在这期间宫廷内风波暗涌，徐茂公都总能安然无恙，让人不得不佩服他在宫中的处世之道。
