房玄龄出身于士族之家，家门显赫。
唐初的一些高官显贵的出身都很显赫，不少大臣与前朝皇室和权臣都有密切关系，比如，杨恭仁，他虽在后世不是那么出名，但他也是隋朝的皇亲国戚，曾任多地刺史，成隋朝的安郡开国公、车骑将军，而在李唐取代隋杨之后，杨恭仁被封为观国公，后来做了凉州总管，抚慰西北，最后升任至唐朝宰相。房玄龄也属于家门显赫的高官后裔，他的曾祖房翼，曾是北魏镇远将军、宋安郡守，袭壮武伯；他的祖父房熊，是褐州主簿；他的父亲房彦谦，好学博闻，通涉《五经》，很有辩才，是魏、齐间山东的有名学者。房玄龄受其父的影响，自幼聪慧好学，善诗能文，博览经史，而且，他向其父学得一手好书法，工于草隶。房玄龄十八岁于齐州举进士，先后授羽骑尉、隰城县尉。在岁末的乱世中，房玄龄感到他继续在隋朝做官很难有大的前途，在唐国公李渊率兵入关后，房玄龄从渭北赶至秦王李世民营中，投靠李世民，在跟从李世民出征之后，被任命为秦王府记室参军，为李世民筹谋军政事务，逐渐成为李世民身边的重要谋士。
房玄龄富有远见，他早预见隋朝必然灭亡，投入李世民阵营，成为其得力的文臣。
由于年轻时便能博学多闻，善于思虑，房玄龄很早就预见到隋朝必然灭亡，所以，他放弃了隋朝的官职而投靠李世民。据说，房玄龄在年轻时，便私下里对其父房彦谦说："隋帝本无功德，只知诳惑百姓。而且不为国家长久之计，诸子嫡庶不分，竟相淫侈，最终必互相诛夷倾轧。现今国家康平，但灭亡之日翘足可待。"（参看《贞观政要》）房玄龄的见识非同寻常人，他投靠李世民之后，屡次跟随李世民出征，每攻下一处，秦王府军中的不少人都免不了大肆搜抢珍宝异物，而房玄龄却无意于珍宝，他四处访寻杰出人才，尽力为李世民举荐英才。秦王府在其发展壮大的过程中，房玄龄着力为李世民搜寻文臣武将，是李世民人才策略的实施者，秦王府人才济济，这与房玄龄的努力是分不开的。
而且，房玄龄深得李世民的信任，君臣常讨论治国谋略，比如，房玄龄曾与李世民讨论隋朝皇帝的治政教训。有一次，李世民问房玄龄该如何评价前朝皇帝杨坚，房玄龄分析说，隋文帝杨坚勤于政事，每与朝臣论政事，皆很晚才歇息；杨坚对五品以上官员，皆能让其坐而论政事；隋文帝虽不算仁厚，但却是有所作为的皇帝。
