因为温家祖籍在山西，回家守丧期间，温大雅和弟弟温大有久居太原。而这个时候的太原，正好是由后来的唐高祖李渊管辖。当时李渊正在秘密筹备反隋的工作，对于温大雅、温大有这样士族公认的学林领袖，自然不可能放过，以重礼邀之。温大雅兄弟二人，当时未必就真的想追随李渊，但奈何人在屋檐下不得不低头，所以也就只能加入到李渊的阵营当中，成了李渊麾下最核心的幕僚。
2.辅佐开唐
在成为李渊麾下的幕僚之后，温大雅凭借自己的学识，很快就成了李渊的左膀右臂。不但被李渊聘为记室参军，掌握机要，有点类似于现代的机要室主任。而且还帮李渊分析时政，筹划方略，制定兴兵起兵计划等等。
大业十三年七月，李渊在太原起兵。凭借多年的准备，在短短几个月之内，就一路打到了长安，然后挟持代王杨侑为帝。又过了几个月以后，江都政变爆发，这时的李渊也顺水推舟，逼迫杨侑禅位给自己。
