李虎的出身好，他的先祖可以远推到西汉飞将军李广，甚至春秋李老君李耳；近则可以推至十六国时期西凉开国君主李暠。
李暠的儿子李歆是西凉第二任君主；李歆的儿子李重耳在西凉灭亡后，出仕北魏，官至弘农太守；李重耳的儿子李熙，官至金门镇将；李熙的儿子李天锡，官至宿卫统兵的武官幢主。
这个李天锡就是李虎的父亲。
李虎一出生，就是上层社会的人了，在人生的起跑线上，早早就领先了杨忠若干个身位。
当然，李虎也是有过人之处的，史称其"少倜傥，有大志"。但他的经历，远没有杨忠丰富多彩，也没有像杨忠那样历经艰难，九死一生。
