曹操待刘备还很有座上宾的味道，麋芳也被曹操上表推荐为彭城相。但是，一山容不下二虎，煮酒论英雄之后，刘备选择了离开曹操。作为刘备的大舅子和好伙伴，麋芳也决然辞去彭城相，跟随刘备开始新的漂泊。
作为好帮手，此后数年，麋芳都在刘备帐下勤勉忠心。三国烽烟四起，刘备杀伐征战，终于取得益州，他留下关羽镇守荆州。这时候，麋芳成为南郡太守，驻守重镇江陵。
红脸关羽虽然忠义无比，但他善待士卒，却对官员们横挑鼻子竖挑眼。这种自傲骄矜，让南郡太守麋芳很不舒服。
心里有了病，迟早都要发作。关羽兴兵北伐时，要求麋芳、傅士仁等筹措物资，但这二人没能按时按数完成任务。关羽很是生气，出征前训斥麋芳、傅士仁，"你们等着，看我回来怎么收拾你们！"
仗义之人往往是刀子嘴、豆腐心。关羽这话一出口，麋芳和傅士仁十分不安，想到平时关羽的蛮横态度，心里很是生气。
