之后，刘备在小沛城再次被吕布击败，投靠了曹操。而曹操也想趁机拉拢刘备身边的糜芳，举荐糜芳为彭城相，不过糜芳最终仍然辞官跟随刘备而去。
建安三年（198年），刘备又一次被吕布击败，被迫单骑逃走，而糜芳则表现得非常忠心，虽几经波折，仍赶去和刘备会合了，没有弃刘备而去。
建安五年（200年），曹操亲征刘备，刘备战败，关羽被擒。而糜芳的表现再一次让人震惊，他沿途招揽刘备被打散的军队，又几经波折找到了刘备，将这支队伍交到刘备的手中。说实话，看到这几年糜芳的表现，真的是非常感人，他对刘备简直是太忠心了，无论刘备败得有多惨，他从来没有想过背叛刘备，令人敬佩！
建安六年，刘备于汝南再一次被曹操击败，被迫逃亡新野。当然了，糜芳肯定是再次跟随的。
建安十三年，曹操完全控制了北方，开始整军南下，刘表的儿子刘琮直接投降，献出了荆州，曹军长驱直入，于长坂坡大破刘备，看起来刘备似乎已经是弹尽粮绝了，曹操稳操胜券。按理说，即便这个时候糜芳投降了曹操，也没什么可指责的，他们家族对刘备已经算是仁至义尽了，跟着刘备十多年，他们基本是一分钱好处也没捞到，反而是跟着刘备颠簸流离。糜芳家族完全是对得起刘备的，就算他们此时投降，刘备也不能说什么。可是糜芳还是坚持下来了，无论刘备败得有多惨，他们就没想过投降，弃刘备而去。
