卢太翼私下曾说过，杨勇不能成大事，果然没过几天杨勇就被废除了太子的身份。后来杨广当了太子，把卢太翼留在了自己身边。谁知道，没过多久卢太翼就得了眼疾，失明了。卢太翼失明后，仍然可以占卜。
在公元604年的时候，杨坚想要去仁寿宫避暑，卢太翼赶忙上去阻拦。杨坚却坚持要去，就在阻拦不下的时候，卢太翼直言道："陛下这次去避暑，定会遭遇不测！"杨坚听后，十分的生气，呵斥道："你竟敢诅咒朕，打入天牢，等朕回来就杀了你！"
但是，卢太翼却大声说道："你回不来了。"说完，卢太翼就被打入了天牢。杨坚到了仁寿宫之后就感觉身体不舒服，忽然想起卢太翼的话，就想着赶紧走。但是已经晚了，出来之后，杨坚就一病不起了，连床都下不来。
后来杨坚的身体有所好转，就赶紧把卢太翼放了出来，并且时时将他带在身边。后来，卢太翼帮杨坚预测了很多事情，都十分灵验。
