共和国成立前，作战部直接隶属中央军委，称军委作战部。1950年5月改属总参谋部建制，称军委总参作战部，也习惯地简称为军委作战部。
1952年4月，彭德怀元帅因病从朝鲜回国就医，病愈后，被留在中央，7月起主持军委常务工作，兼顾志愿军作战。
1954年，第一届全国人民代表大会决定在国务院设立国防部。彭德怀从1954年9月起，任国务院副总理兼国防部部长和国防委员会副主席。
国务院设立国防部之后，军队的领导体制并未改变，依然由中共中央军事委员会直接领导各总部和指挥军队。彭德怀被任命为国防部长，但还是以中央军委副主席的身份参与领导军事工作。
国防部设立之初，与军队各总部的隶属关系、分工、职责等条例尚未建立，矛盾就由此而来。
军委作战部的办公地点，在中南海居仁堂。张震到聂荣臻、粟裕办公室汇报和请示工作很方便。
有一次，张震给粟裕送文件，看见他正在低头垂泪。他跟随粟总多年，从没见过这位身经百战的大将军流过泪，便关切地问他是什么原因？
