1930年，为了抵御敌军对苏区的“围剿”，红军在吉安扩充队伍，16岁的李作鹏报名参军入伍，李作鹏性格沉稳，平日不爱说话，却肯动脑筋、善于思考，常常在关键时刻或重大问题上，能够向上级提出一些自己的见解。
他的种种优秀表现，渐渐从基层官兵脱颖而出，加上李作鹏上过私塾，能识文断字，很快成为上级的培养对象，参军两年后李作鹏就入了党，18岁时还被调入军委二局当参谋，长征时担任二科科长。
长征胜利到达陕北后，组织上想把部队中一些有军事经验，又有一定文化基础的年轻干部调到刚成立的抗日军政大学任教官，在这一批人员中，其中就有李作鹏。在抗大工作期间，李作鹏任参训队队长，他工作积极，效率高、表现好，很快引起抗大校长林帅的注意，特别是两人在性格上又十分相似，后来林帅担任115师师长时，也把他调过去担任师部侦查科科长。
但时隔几个月，林帅被友军误伤，去了苏联养病，李作鹏与老上级分别，直到抗战胜利来到东北，才重新在老上级麾下工作。当然林帅也一直记得这位出色的部下。李作鹏先是在司令部担任参谋处处长，后来东北民主联军扩大，李作鹏担任六纵司令员，这支新成立的队伍，在他一番训练下，很快成为东野的一支劲旅。
