糜竺与糜芳忠心事主，连曹操都深受感动，上表朝廷举荐糜竺为嬴郡太守，其弟麋芳为彭城国相，但糜竺与糜芳都不接受，决意跟随刘备。在刘备创业最为艰难的那一段时间里，糜竺和糜芳始终对刘备不离不弃生死与共，吕布、曹操攻打刘备，糜芳几次跟刘备打散但总能想办法回到他身边，与他一起四处逃亡吃尽了苦头，可以说这个时候的糜芳是没有二心，对刘备非常的忠诚。
建安十八年(213年)受益州牧刘璋之邀，刘备携军师庞统率领五万军队入川平汉中张鲁之乱，当然刘备此行是为夺取益州而来。但刘备入川后，随着军师庞统战死，形势变得不利于刘备一方。建安十九年(214年)诸葛亮留关羽守荆州，自己与张飞、赵云率兵溯长江而上支援刘备。
关羽镇守荆州时，糜芳能南郡太守屯江陵，将军傅士仁屯军公安，但两人对关羽平素语气傲慢，常常轻慢自己而暗自感到不满。建安二十四年(219年)，关羽发动襄樊战役，意图夺回被曹魏占据的襄樊，命糜芳和傅士仁出任军需官，但两人没有完成任务，性子本来就急的关羽放出狠话，准备回军后再收拾两人，这让糜芳和傅士仁恐惧不安，生怕关羽罪责于己。随着襄樊之战进入白热化，东吴乘火打劫命吕蒙袭取荆州，傅士仁开城投降。糜芳最初在江陵坚守，但看到傅士仁投降，觉得死战是死，投降或有生路，便也开城降了东吴。关羽在前方死战，后方两员大将却先后投降东吴，这彻底打乱了关羽的布局，导致他最后败走麦城，在临沮遇害。糜芳背主投降，这让其兄糜竺大为震惊，向刘备"面缚请罪"，刘备虽好言宽慰，但糜竺最后还是羞愧病死了。
关羽是何等的忠勇，而糜芳却以私怨变节，做了可耻的叛徒，他到了东吴以后，吴人对他都极为鄙夷，一次糜芳乘船出行，遇到虞仲翔的船，糜芳随从想叫虞仲翔先让路，大喊："请回避我们将军的船"，虞仲翔见是糜芳，用十分鄙夷的口气厉声说："失去忠心的人，凭什么侍奉君主?使人失去两座城池，却称将军，可以吗?"糜芳听此话后羞愧难当，关上船窗主动让虞仲翔先过。
