梁松、窦固看到了这个场景，便告诉光武帝刘秀，说马援私藏战利品，用车子装载了满满一车的珍珠藏了起来。光武帝听信他们的说法，革去了马援的爵位，马家从此日益衰落，经常被权贵们欺侮。
马援去世的时候，马氏年纪还小。马氏的夫人因为夫君去世伤心过度，不久也去世了，马氏年少便失了双亲，但她并没有因此消沉沮丧，而是以自己的聪慧才智支撑起了整个家，将家事料理得十分妥当，上上下下无人不叹服。
父亲去世之前，马氏本来与窦家有婚约。随着马家的式微，男方窦家渐渐看不上她的身份，便提出了退婚。马氏遭此侮辱，并未心灰，而是听从堂兄马严的安排，进宫充作宫女，去侍奉当时的太子刘庄和皇后阴丽华。
马氏聪明伶俐、又得体大方，对宫中人等无不热情妥帖，很快受到刘庄的喜爱，将她收在身边。公元57年，光武帝刘秀驾崩，皇太子刘庄即位，便立马氏为贵人。马氏更加勤谨恭正，侍奉太后和皇帝都十分上心。
