李纲听了此言，便辞官归隐，果然逃过一劫。隋朝末年，农民起义爆发，有一位叫何潘仁的义军首领打听到了李纲的下落，逼李纲出来做官。当时李渊刚刚建立唐朝，四方贤士纷纷投奔，李纲此时已经71岁，良禽择木而栖，李纲选择投奔李渊。
李渊见到李纲后，非常高兴，任命李纲为礼部尚书，兼任太子詹事，专门教导太子李建成。起初，李建成对李纲十分尊重，但随着李建成身边的人越来越多，李纲的话语权渐渐旁落。李纲感觉自己失去了太子的重视，于是主动向李渊提出辞职。李渊很强硬地挽留李纲，并且升任李纲为太子少保。但接下来，李纲的建议李建成压根不听，李建成甚至对李纲避而不见，李纲有才无命、蠖屈不伸。
玄武门之变爆发后，李建成身死。随着李建成的去世，说明李纲辅佐的第二为太子，又是一个失败者。
