二十岁那年（公元634年），李义府因文采出众被巡察大使李大亮推荐到门下省，为典仪。后得刘洎、马周的推荐，升至监察御史，跟随晋王李治。公元643年，李治被唐太宗立为太子，李义府跟着沾了光，被升为太子舍人。
早年的李义府性格正直，文采飞扬，是个人见人爱的好少年。但混入官场之后，他的性情也随之改变。为了自己利益，他处处讨好李治，装着与大家很好的样子，私下里却打击异己。人送外号"笑里藏刀"。
公元649年，李治即位，为唐高宗。高宗将李义府升为中书舍人。李义府得高宗信任，眼高于顶，不把朝中其他官员放在眼里。为此，他得罪了宰相长孙无忌。长孙无忌早就看不惯他，要将他贬至壁州。李义府为官多年，耳目众多，这一消息很快传入他的耳中。
李义府知道后，急得像热锅上的蚂蚁，不知如何是好，与中书舍人王德俭商量对策。当时武则天得高宗盛宠，很想立武则天为皇后，但又怕长孙无忌等人反对。王德俭说："如果你能帮助武媚娘登上后位，你就可以留在京城。"
