北宋灭亡之后,山东被金兵占领,李宝见金兵到处烧杀抢掠,就在乡间聚集了一群百姓自保,由于胆识过人,这支队伍在与金兵的几次交锋中略占上风,因此名声大震,投奔之人越来越多。1139年,李宝带领队伍来到山东甄城,正好赶上城中金兵大乱就想攻城,结果被回过神来的金兵一举击溃,部队死伤殆尽,李宝只带着40多人一路南逃到了临安附近。
岳飞听后,觉得李宝也是一个有勇有谋之人,就将他们带回了岳家军。可是不久之后,李宝因为在岳家军中没有得到重用,就偷摸带着40个手下逃离军营,想要回山东老家。可惜他们没有逃出去多远,就被岳飞派人抓了回来,古代的军队中,最忌讳的就是逃兵,只要被抓一律处死。
当时岳飞下令处死了李宝的39名手下,就在准备对李宝行刑的时候,岳飞念及李宝是想回乡抗金,并非真正的贪生怕死,于是网开一面饶了他一命。之后岳飞派李宝回到山东,继续组织军队抗击金军。岳飞被害死后,李宝跟随韩世忠守备沿海地区,并组建了一支海军。