一开始卢太翼还会为他们一一指点，不过后来闻名而来的人太多了，搞得卢太翼不胜其烦，所以就跑到了五台山隐居，当起了世外高人。但是就这样也不安生，当时隋朝的太子杨勇就找到了他，非要让他在自己的麾下任职。自古民不与官斗，更何况杨勇还是皇家太子，卢太翼只好结束自己的隐居生涯，成为了杨勇麾下的一个幕僚。
公元604年的时候，天气非常炎热，隋文帝就想出宫到避暑山庄去避暑。但是卢太翼却拦着他，死活不让他出宫。跟他说：你要是出宫，一定会遭遇不测。隋文帝觉得被他扰了兴致，十分生气，再加上他诅咒自己会遭遇不测，就给他定了个危言耸听，以下犯上的大罪，关入了天牢。并跟他说等我回来就杀了你！卢太翼当着他的面没说什么，但是在他转身离去的时候，却在他身后小声猪嘟囔了一句：走了您就回不来了。
果然，隋文帝到达避暑山庄之后就染上疾病，一病不起。弥留之际想起了卢太翼的话，心中也不禁十分懊恼。他就把贴身侍奉的杨广叫到跟前，说卢太翼此人的确有些道道，你上位之后也一定要重用他。之后就病逝了，杨广上位之后重用卢太翼，赏赐他不少好东西。而在卢太翼临逝世之前，还预言说有人会叛乱，后来也都一一应验。
