传说杨素李靖谈论之时，红拂就立在旁边，她见李靖气宇非常，乃英雄侠义之士，心中暗暗倾慕，于是派门人跟踪李靖，得知他的住处，自己深夜前往。夜晚，李靖独坐灯前，想着白天的事，觉得前途渺茫，正在发闷，忽听敲门之声，开门一看，竟然是白天在司空府见到的侍女。红拂开门见山地表明自己的心意：愿意投奔李靖，伴随其闯荡天下。李靖喜出望外，却也担心杨素那边没法交代。红拂安慰他说：杨素年纪大了，多有侍女逃走，司空府不会追究。李靖见有佳人理解自己并且愿意奉献一生，非常欣慰，当即应允。司空府找不到红拂，派人查询了几日，最终还是不了了之。于是红拂与李靖二人扮成商人离开长安。
二人在他们一路跋涉，在灵食的一处客站歇脚时遇见了一个满脸虬髯的人，此人自称虬髯客。红拂见他貌似粗鄙，却有一种不凡的气质，于是与他拜为兄妹。他们通过刘文静会见李世民。虬髯客本有争夺天下之志，见李世民神气不凡，知不能匹敌，遂倾其家财资助李靖，使辅佐李世民成就功业。后虬髯客入扶馀国自立为王。李靖、红拂、虬髯三人，后人亦称"风尘三侠"。
隋朝末年，李靖任马邑郡（治今山西朔县东）丞，在李渊帐下和突厥作战。这时，反隋暴政的叛乱已风起云涌，河北窦建德，河南翟让、李密，江淮杜伏威、辅公祏等领导的三支主力军以摧枯拉朽之势，涤荡着隋朝的统治。身为隋朝太原留守的李渊也暗中招兵买马，伺机而动。李靖察觉了他的这一动机，于是李靖把自己伪装成囚徒，前往江都，准备向隋炀帝密告。但当到了京城长安时，关中已经大乱，因道路阻塞而未能成行。不久，李渊于太原起兵，并迅速攻占了长安，俘获了李靖。李靖满腹经纶，壮志未酬，在临刑将要被斩时，大声疾呼："您兴起义兵，本是为了天下，除去暴乱，怎么不欲完成大事，而以私人恩怨斩杀壮士呢？"李渊欣赏他的言谈举动，李世民赞赏他的才识和胆气，因而获释。不久，被李世民召入幕府，用做三卫。
