董卓死后数月，其旧部属李傕和郭汜等人召集旧部，以报仇名义讨伐吕布，吕布不敌只能逃走。当时正值战乱，天下诸侯彼此争斗不止，能让吕布加入的不多，吕布初投袁术却因骄恣、恣兵抄掠被拒绝。无奈之下，吕布又转投袁绍，帮助袁绍对抗黑山军，在战场上他与所属健将仅用少数人就击破张燕，使袁绍获得了不菲的战果。事后袁绍畏惧吕布能力过大，袁绍便派兵追杀之，《三国志》记载："绍恐还为己害，遣壮士夜掩杀布，不获。事露，布走河内，与张杨合。"
可以说吕布和刘备本来没有什么瓜葛，他是被曹操打得走投无路，才跑到徐州投奔了刘备。当时吕布很窘迫，对刘备毕恭毕敬，还让妻子向刘备行礼，称其为贤弟。《英雄记》记载："布见备，甚敬之。请备于帐中坐妇床上，令妇向拜，酌酒饮食，名备为弟。"然而，面对刘备好心收留，吕布却无半点感恩，反而趁机夺取了刘备的徐州。兴平二年（195年），袁术率军攻打徐州，双方激战月余互有攻守。
作为一位军事统帅，吕布如此反复行事，终成就了他"三姓家奴"的骂名。史学家陈寿在其《三国志》中也称其："吕布有虓虎之勇，而无英奇之略，轻狡反复，唯利是视。自古及今，未有若此不夷灭也。"在汉末三国时代，群雄并起，智谋之士云集，以吕布这样的小智小谋并不足以应付当时错综复杂的政治军事斗争局面。
