其后，李开芳与另外一名太平军悍将林凤祥一起，率部从陆路进攻南京。很快，南京就被攻克。李开芳成为太平军攻克南京第一人。
洪秀全占领南京后，宣布定都南京，改名为天京。为了摧毁清廷统治，稳固天京大后方，刚刚定都天京不久，洪秀全就下令北伐。1853年5月，李开芳和他的老搭档林凤祥一起，率2万多人从扬州出发，一路北上。
严格地说来，洪秀全这次派兵北伐，更大的作用只是试探性的行动，看一看清廷在北方的势力到底有多强大。因此，洪秀全只是派遣了一支不大不小的精锐部队。
然而，在李开芳和林凤祥的率领下，太平军北伐部队进展神速，所向披靡。他们从扬州出发后，经安徽、河南等地进入直隶地区，"神挡杀神，佛挡杀佛"，锐气不可阻挡，前锋一度打到天津西杨柳青附近，让清廷惊慌失措，赶紧调集重兵进行围追堵截。
