在刘备手下做事变成了在关羽手下做事，这个感受是截然不同的，刘备"知人善任，有高祖之风"，糜芳在那里能够感受到春天般的温暖，而关羽则"亲士卒而骄于士大夫"，糜芳一到关羽手下，就受到了各种脸色，尽心尽力地做事还经常被斥责，豪门出身的糜芳又哪里受到过这种待遇，心理落差可想而知。
尤其是在219年的时候，糜芳还受到了关羽直接的威胁，关羽嫌他与同事傅士仁办事不利，厉声说："等我回来再收拾你们"，两人心中对关羽本来就有不满，这样一来又非常恐惧，等到东吴攻打荆州时，傅士仁直接投降，原本坚守的糜芳眼见自己一座孤城，只怕撑不了多久，于是也投降。
糜芳的投降让蜀汉彻底失去荆州，也断了关羽的后路，使其被擒杀，影响不可谓不重大。在他投降的因素中，占比最终的显然是关羽平时对他的轻慢，据说现代绝大多数职员离职的原因，都是由于受不了直接领导，这点在糜芳的身上就完全地体现了出来。
