后来，唐闰山还告到了兵部，让兵部尚书为自己做主。兵部尚书不知脑子里少了哪根弦，居然觉得唐闰山的歪理非常有道理，于是直接给洪洞县下命令，要求县里把史灵芝作为军属送去给唐闰山。
对于这个决意，姚小五一家自然不服，于是他们逐级上告，希望能要回自己的妻子。然而官员们才懒得给草民做主，他们本着多一事不如少一事的原则，非要执行兵部命令。
后来这事还闹到了刑部，当时刑部尚书王峕也认为兵部的判决很合理。在给朱元璋的奏报中，他引经据典，说中国的"弟弟收继嫂子"古已有之，而且在元朝法律中也明确规定这是合法的。因此，唐闰山可以合法"占有"史灵芝。朱元璋听到奏报后，心里十分不痛快，而这是为什么呢?
朱元璋诛灭暴元，就是为了恢复汉家江山和礼仪。蒙古人入主中原后，将他们落后的草原习俗带到了汉地，当时汉人很大程度上都出现了胡化。当时的汉人以说蒙古语，穿胡服，留胡人头型为荣。同时在婚丧嫁娶习俗上，许多汉人也逐渐开始借鉴蒙古人的习俗。
自汉唐以来，儿子收继庶母，弟弟收继嫂子，都被视为禽兽之行，要治罪。但这对于蒙古人来说，根本不是问题。
