平定萧铣之后，李孝恭又率军拿下了岭南。也就是从这时起，他便再次受到了李渊的猜忌。李孝恭毕竟不是李渊的嫡系子孙，故而李渊对其始终不放心。当李孝恭平定江南之后，有人就诬告其谋反，李渊依照裴寂的计策急调李孝恭搬师。李孝恭回朝后，很快便被拿掉了军权。不过，李渊还是念在了李孝恭平定江南的功劳上，最终只是将其罢职，而未伤其性命。
李孝恭和李世民关系密切，两人之间常有书信来往。在李孝恭平定南方的时候，李世民也正率领唐军主力攻打洛阳。他们二人一南一北，都对唐王朝的最终统一做出了重要的贡献。晚年的李孝恭沉迷于酒色，公元640年，这位宗室亲王最终病逝于长安。
