武德七年四月初，皇帝亲自做媒，遣桂阳公主为女家婚主，为他娶了宏农大族杨氏做继室，聘礼、婚礼所用的开支等都是国家国库所出。武士彠因为娶了杨氏，门第立刻提高了很多，从文水小姓入为中等显赫之族，杨氏也为他的以后仕途带来了很多便利。
杨氏名贞，与隋朝皇族同宗不同房，出自宏农杨氏观工房，父杨达，隋朝宰相。武德皇帝宰相杨恭仁，李世民宰相杨师道都是她的堂兄弟，是他伯伯杨雄之子。李世民妃子燕氏就是杨雄的外孙女，武德皇帝桂阳公主就是嫁给了杨雄之子杨师道。其家世为关中六大姓之一，家世极为显赫，家族不只是隋朝皇室宗亲，更与唐朝皇室姻亲关系复杂，家族与唐朝武德皇帝和李世民两代的重臣也多有姻亲。
武士彠之所以得罪杨素，除了是因为敛财被杨素嫉妒之外，或多或少也与杨氏有关。当时杨素与杨氏的父亲杨达同位隋朝宰相，正、副使身份主持隋炀帝的营建东京的重大工程。武士彠为了接近杨氏，极力讨好副使身份的杨达，当时杨素和杨达关系紧张，因此杨素想迫害武士彠。
幸亏武士彠利用关系和财富，常与隋朝权贵交接，得到了杨雄与杨达兄弟、牛宏等权贵的营护，才免于遭祸。当时武士彠已经娶相里氏，杨达自然不可能将爱女嫁给一个小姓，而且还是为妾，所以两人一段不为认知的感情只能被迫终止。杨氏对武士彠一网情深，一直坚持不肯出嫁，之后其父杨达死于隋炀帝远征高丽途中，她已经虚岁三十四岁，于是依托佛教，决心永不婚嫁。
有情人终成眷属，两人这段不为认知的感情，却被武德皇帝得知，相里氏死后，武德皇帝亲自做媒，促成了两人的婚事。当时杨氏已经虚岁四十六，武士彠已经虚岁四十八，杨氏守身如玉等了武士彠二十几年，两人婚后自然恩爱非凡，如胶似漆，很快就有了长女和次女。武德八年后武士彠外放为官，杨氏因两个女儿幼小所以没有跟着赴任，期间李世民即位武士彠回京述职，杨氏又怀了季女。