但是后来韩信被杀后，刘邦吕后时期担心大将军功高盖主而贻害无穷，甚至动摇国之根本，于是决定大将军之职不常设。只在战争等必要时期才会设立，而且一旦战争结束，大将军就会自动去职。
公元前154年，汉景帝统治时期，吴王刘濞等诸侯蠢蠢欲动，想要另立朝廷，结果爆发了七国之乱。刘氏江山处于危亡之际，于是汉景帝就被迫任命窦婴为大将军，统领京中军队，主要是为了应对七国之乱。但是七国之乱结束后，大将军就等于虚职，不过仍然领千金。
汉武帝时期也设置了大将军，班固的《汉书》载有：“乃置大司马位，大将军、票（通“骠”）骑将军皆为大司马。”规定大将军的官阶高于三公，这实际上是由当时的外患现实所决定的，北方的匈奴虎视眈眈。为了对外打击匈奴的进攻，卫青成了汉武帝朝中的大将军，后来汉武帝为了继续加封卫青，就设立了大司马，这也是一种无上的荣誉。《汉官仪》载：“汉兴，置大将军，位丞相上。”
三六九等：大将军之下的将军官职
汉朝的将军官职中属于第一等的就是大将军和大司马，东汉时期的大将军名号包括镇东大将军、抚军大将军和护国大将军等。这些皇上亲封名号的大将军一般会比没有封号的大将军地位要高，但是在权力方面却是无法相比的。第二等则是骠骑将军等；再次等的左右将军属于第三等。这些都由大将军统领，在具体职务上有很多不同，所负责的方面也有区别。
