兄弟二人同居高位，可以说是一时之佳话了。
后来，温大雅觉得兄弟二人同居高位，或许会遭人非议，所以就主动请辞，辞去黄门侍郎，转任工部侍郎一职。后来，又因为李世民的邀请，担任陕东道大行台、工部尚书等职。
再后来，因为太子李建成和秦王李世民的矛盾日益激化，双方开始激烈的争夺太子位。温大雅虽然不愿过分插手朝堂争斗，但他的位置却让他不得不开始学会站队。
当时温大雅所辖制的陕东道，位置非常重要。因为陕东道不但辖制洛阳、河南、山东、河北、山西大部分地区，相当于南北朝时期的北齐全境。而且当时李世民的绝大部分势力，尤其是效忠他的军队，基本上也都在这个范围内。而温大雅当时因为担任陕东道大行台的职位，只能站到了李世民那一头。武德九年，他奉命镇守洛阳，全权统辖李世民在河南的嫡系部队。
