杨氏因出身显赫世家，自然有些看不起武士彠兄弟这些小姓，嫁入武家之后与武士彠的兄弟相处不是很和睦；也因三个女儿年幼，所以对武士彠原配相里氏的两个儿子照顾不周；当时社会风气后妻必虐前妻之子，杨氏自然也不可能例外，对相里氏所生二子自然非常不人道。当时武士彠的兄弟和儿子对杨氏敢怒不敢言，因此埋下了祸根。
武士彠生前，杨氏依照北方家族风俗主持武氏家族门户，但武士彠死后，却遭到了武士彠兄弟和两个儿子的排挤和报复，武氏家族门户主持大权落入了武士彠兄弟和两个儿子手中，杨氏和三个女儿生活已经大不如前，还要时常的遭到欺负。
隋、唐北方社会交际、内政人事等都是由主妇操持，虽有男女尊卑差距，但是并不严重，隋、唐男子多有“妻管严”，所以女权地位极高，夫死改嫁最为平常，早上夫死，晚上就改嫁的情况经常可见。李世民在贞观元年更颁布政令，鼓励庶女夫死无后的改嫁，并且聘请用度可以有地方政府出资。
杨氏为命妇非庶民，又已经五十七岁，还有三个年幼的女儿，所以不在政令强制范围之内，就算她想改嫁也不能，唐朝有法令不允许命妇改嫁，因此杨氏只能默默承受在武家的不公平待遇。
虽然待遇不是很好，和她的身份有很多不相符，但是也还有吃、有住，婢女丫鬟依然由她使唤，她依旧是应国公夫人，只不过已经不能在武氏一族“呼风唤雨”了。武士彠的财产等也都被兄弟和儿子瓜分了，昨天长女出嫁时的陪嫁礼，都险些让杨氏拿不出来。
其实杨氏现在的遭遇，也不能怪罪到别人身上，只能说她是咎由自取，若是以前善待相里氏的两个嫡子，不用势利眼光看待武士彠的族众，绝对不会落得现在的下场。武士彠死了，她又没有儿子，妇从夫贵，母以子贵，她一项都没有，现在只能默默的承受武氏一族不公平的待遇吧。