武德三年，他献计进攻萧铣的割据政权，李渊深以为然就派他搞定，他开始准备战船，习练水兵，武德四年，他被任命为荆湘道行军总管，统率水陆十二支军队从夷陵出发，击破荆门、宜都二镇之兵。不过论打仗他可比不上李靖，当时李靖是他的副手，人家劝他不要忙于进攻，等敌人士气低落再动手，结果他不信，执意进攻，结果大败，对方主帅见唐军大败，就纵兵四出抢掠，兵士肩扛手提，多有收获，李靖见此良机，果断出手，大败敌军。不过这功劳还是挂在了李存恭身上了。
李孝恭平灭萧铣后，被拜为荆州大总管，后来杜伏威的部将辅公祏反唐、杀王雄诞、率部占湖州，只用了一年时间就将江南平定，因功拜扬州大都督。再后来李世民当上皇帝，任命他为礼部尚书，改封河间郡王。这时候他也算功成名就了，但是他除了喝喝酒欣赏下美女就不再过多干预朝政了，这是标准的防止"飞鸟尽良弓藏"的方法，可是他还是暴病而亡，享年只有50岁。李世民亲自举哀，哭之甚恸，赠司空、扬州都督，陪葬献陵。
