二十岁那年（公元634年），李义府因文采出众被巡察大使李大亮推荐到门下省，为典仪。后得刘洎、马周的推荐，升至监察御史，跟随晋王李治。公元643年，李治被唐太宗立为太子，李义府跟着沾了光，被升为太子舍人。
早年的李义府性格正直，文采飞扬，是个人见人爱的好少年。但混入官场之后，他的性情也随之改变。为了自己利益，他处处讨好李治，装着与大家很好的样子，私下里却打击异己。人送外号"笑里藏刀"。
公元649年，李治即位，为唐高宗。高宗将李义府升为中书舍人。李义府得高宗信任，眼高于顶，不把朝中其他官员放在眼里。为此，他得罪了宰相长孙无忌。长孙无忌早就看不惯他，要将他贬至壁州。李义府为官多年，耳目众多，这一消息很快传入他的耳中。
李义府知道后，急得像热锅上的蚂蚁，不知如何是好，与中书舍人王德俭商量对策。当时武则天得高宗盛宠，很想立武则天为皇后，但又怕长孙无忌等人反对。王德俭说："如果你能帮助武媚娘登上后位，你就可以留在京城。"
李义府听王德俭建议，支持武则天为后。高宗听后，大喜，将他留在京城。公元655年，武则天被立为皇后，为感激李义府的鼎力相助，将他升为中书侍郎、同中书门下三品。李义府至此，倾权一时。
公元656年，洛州女子淳于氏获罪被关进大理寺。李义府见淳于氏貌美，想占为己有，让大理寺丞毕正义将淳于氏放了出来，并纳为妾室。大理寺卿段宝玄将此事上奏高宗，高宗让给事中刘仁轨、侍御史张伦调查此事。毕正义私自放走囚犯被捕入狱，李义府怕他将自己供出，在狱中逼死了毕正义。
高宗虽知实情，却没有治他的罪。但朝中其他官员很是不服，侍御史王义方说他私杀六品寺丞，应当治罪。但高宗有意袒护李义府，说王义方是故意诋毁，将其贬为莱州司户。此后，便无人再提及此事。
经此一事之后，李义府并未收敛。他仗着高宗和武则天宠幸，勾结其他官员，大肆卖官。李义府的所作所为很快遭到了杜正伦的厌恶。公元658年，杜正伦与中书侍郎李友益密谋除掉李义府。但绡息不胫而走，李义府知道后跑到高宗面前恶人先告状。后来，三人各执一词，高宗以大臣不和为由，将李义府贬为普州刺史，杜正伦贬为横州刺史，李友益流放峰州。
李义府虽然被贬，但第二年就被高宗召了回去，而杜正伦却死在了橫州。公元662年，李义府将祖父改葬永康陵，征用大批人马昼夜修坟，为此还累死了一个县令。朝中官员出于礼节，争相送出金钱和礼品，送葬的队伍更是浩大有七十里那么长，好不奢华。
公元663年，李义府被升为右丞相。此时的他，更是一人之下，万人之上，朝中官员更不敢得罪他。李义府在高宗面前装得毕恭毕敬，私下里却无恶不作。他的儿子和女婿仗着他的势力，经常在外面惹是生非。
高宗为此警告他："你的儿子和女婿经常做些不法之事，我都替你挡了过去。如果你再不对他们多加管教，我也无力保护他们！"李义府听后，很是生气，问高宗是听何人所说。高宗说："你知道就行，不要问我是谁说的。"李义府见高宗不肯说出告密之人，头也不回的走了。高宗觉得他太傲慢无礼，颇为不满。
有一天，李义府遇到一个术士杜元纪。杜元纪说他的宅地风水不好，会有牢狱之灾。要想破除灾祸，要两千万钱才能消灾。李义府信以为真，趁给母亲吊丧期间，大肆搜刮钱财（公开卖官）。为此，他意然搜刮到了长孙无忌孙子长孙延那里，并答应给其司津监的职位。
李义府这种行为，被其他人认为是图谋不轨。仓曹参军杨行颖把此事上奏到高宗那里。李义府之前在高宗面前傲慢无礼，现在又索取无度，高宗一气下之将他贬至巂州。公元666年，高宗去泰山封禅，所有被贬官员都要参加，但高宗没有让他参加。李义府本想借高宗封禅之机东山再起，却不想会是这样的结果。为此，李义府忧愤成疾，同年病死，时年五十二岁。
公元692年，武则天感恩于他当年力挺自己，追赠他为扬州大都督。但唐睿宗李旦即位后，又收回了他的封号。所以说，做人不要太高调，够吃够喝就行了。