肥义，据说出身于胡人。当时的赵国西、北两边均与胡人聚居地接壤，与胡人打交道的地方很多，双方时和时战，关系紧密且复杂。
肥义很早就到了赵国，成为赵肃侯的近臣，进入到了赵国高层。赵肃侯很器重肥义，也很信任他，所以临死时托付其辅佐幼主的重任。
赵肃侯二十四年（公元前326），赵肃侯崩殂，按理应该是太子赵雍继位；可是，此时的太子还在韩国做质子，一时半会儿回不到国内，万一国中有变，怎么办呢？
在这里顺便说一下，赵国在国君崩殂、新君继位之际经常发生变乱。公元前386年，赵武公（亦称赵武侯）崩殂、赵敬侯即位时，赵武公的儿子公子朝发动叛乱，想要夺取君位，为赵敬侯挫败后，公子朝在国内无法立足，就逃奔魏国去避难。魏武侯派兵送公子朝回国，兵锋直逼邯郸城，想替他夺回君位，结果被赵军击败。
