正因为如此，武士彟病逝后，杨氏带着三个女儿投靠亲戚，过上了寄人篱下的生活。
如此的际遇，武则天后来不择手段出人头地也就不足为奇了。武则天成为皇后不久，对两个哥哥皆有超越常制的升迁。杨氏"尝置酒"，对武氏兄弟说:"还记得当年的事情吗？今天的荣华富贵知道是谁给你们的吗？"（"颇忆畴昔之事乎？今日之荣贵复何如?"）。杨氏有意旧事重提，就是想要羞辱一下二武。不料，武氏兄弟并不领情，振振有辞道："揣分量才,不求贵达"，"曲荷朝恩，夙夜忧惧，不为荣也"。他们之所以有今天，完全是仰仗父亲余荫而已。武则天听说后只是轻蔑地一笑，十几年后兄弟二人被贬出京，先后在贬所"以忧卒"。
武则天年幼时，就看惯了两个兄长的冷面孔，与母亲的坚忍，等她一朝权在手，自然不会放过两个兄长的。对待自己的兄长如此薄情寡义，对待李唐宗室自然是更加的冷血无情了。
