为防金兵再度侵犯，李彦仙加固城墙，深挖护城河，扩充军队，组织农业生产，储备军需物资，做好守战准备。为了稳定军心、民心，他不远千里把全家迁到了陕州城内，对大家说："我的父母妻子儿女要以身殉国，誓与陕州城同存亡！"大大鼓舞了士气。此时，神稷山义师领袖邵兴率部归附李彦仙，李彦仙命他屯扎在三门。后来依靠他的力量，收复了虢州（今河南灵宝县境内）。
1128年冬，金将乌鲁撤拔率军包围了陕州城，李彦仙坚决抵抗，金人久攻不下，技穷而去。1129年，金兵都统娄宿穷其所有军队从蒲、解二地大举进入，李彦仙在中条山痛击来犯之敌，杀得金兵片甲不留，抓获金将18人，娄宿侥幸逃脱。宋高宗授李彦仙右武大夫，宁州观察使兼同、虢二州制置。
李彦仙以信义治理陕州，与部下同甘共苦，他把朝廷赏赐的财物、缴获的敌军物资，全部分给了将士，自己分文不取，因而部属乐意为其所用，作战勇敢。他纪律严明，若有违纪、抗令之人，即便是亲属也严惩不贷，辖区内政治清明。
