公元649年，李世民病重在床，便让大臣把自己的儿子李治叫过来交代后事：“李绩这个人是忠臣之士，可以重用。但你对他并没有恩惠，所以他不会听命于你。如今我把他发配到边疆，在我离去之后你再慢慢把他提携上来，这样他就受恩惠与你，接下来一定会对你鞠躬尽瘁，听命于你。”李治听了之后便答应父亲。
随后唐太宗驾崩，李治按照太宗的要求将其提拔为尚书左仆射，这个职位在当时相当于丞相、宰相。事件并没有如想象之中那样顺利，到了公元650年，李绩请求免除自己的仆射职位。但李治还是命令他为开府仪同三司，依旧掌管着朝廷政事。在接下来李治还下令为其画像，并且亲自为画像作序。
而李治在这时候做了一个决定，就是把武则天召回宫中。之前唐太宗李世民离去，武则天身为妃子出家为尼，但这个过程中一直和李治保持着联系。到了公元655年，李治想要废除皇后，封武则天为新后。但这一想法提出之后，遭到了朝中大臣的纷纷反对。李治很是纠结，便叫来了李绩欲征求一下他的建议。
李绩在听了之后回答：“这是陛下的私事，不用去问外人”。李治听了这样的话想了想，对于自己的家事为什么要让别人参与呢？说完作罢，直接下旨立武氏为后。就这样，唐朝走上了一条不归路。谁知唐高宗一直卧床不起，朝中政事也由武则天一手治理。公元690年，武则天登基，改国号为“周”，定都洛阳。
李氏家族王朝也因此做断，变成了武氏王朝。有人说这也是李家人在执政呀，但是根本上意义明显不一样。直到后来公元705年，李显复位，李氏王朝才得以延续。
因为李绩的一句话，李治更加坚定自己的信念。不过我们回到李绩的角度来看这个问题，您作为皇帝，我作为臣子，我回答您的问题当然一定要以您满意为主。所以就这样李绩才说了这样的话，但没想到这样的话也差点断送了李氏家族的伟业。
