对中将和少将军衔的评定，首先由各总部、各军区、各军兵种、各高级院校党委讨论提名，总干部部和总政治部对名单进行逐个审查和反复衡量，并在3月中旬的干部部长座谈会上交换意见，4月初又邀集各大单位首长对中将、少将名单作进一步的研究，然后于5月初将修订的名单呈报中央军委审查。经中央军委初步审定后，总干部部又将少将名单发给各大单位党委，再次征求意见。最后，中央军委于7月11日召开会议进行审查确定。
对于元帅、大将、上将军衔的具体确定，特别引人关注。
首先是人民军队的最高统帅授什么衔？
《中国人民解放军军官服役条例》明确规定：对创建全国人民武装力量和领导全国人民武装力量革命战争、立有卓越功勋的最高统帅，授予中华人民共和国大元帅军衔；对创建和领导人民武装力量和领导战役军团作战、立有卓越功勋的高级将领，授予中华人民共和国元帅军衔。
1955年1月14日和15日，中央军委开了两天会，具体对授予元帅、大将、上将军衔的人选进行研究。在北京的中央军委委员彭德怀、贺龙、徐向前、聂荣臻、罗荣桓出席会议，陈毅和叶剑英因病、邓小平因事未出席。会议由主持中央军委日常工作的彭德怀主持。经过充分研究讨论，最后取得一致意见：授予现任军委主席和军委委员元帅军衔。元帅军衔又分为两级：大元帅和元帅。16日，彭德怀、罗荣桓联名将所提名单和意见报告毛泽东。
据说，毛泽东听到这个消息后，摇摇手说：“我不当那个大元帅！”
此事在高层各界引起强烈反响。
全国人大常委会开会时，民主人士纷纷发言，认为毛泽东等领导同志是人民解放军的缔造者和创建者，指挥过许多重大战役，为军队的建设和发展作出了重大贡献，在全党全军和全国人民中都享有崇高的声誉，应该给他们授衔授勋。毛泽东功劳最大，应该授予大元帅，授予3个一级勋章。有人提议要形成一个决议。主持会议的刘少奇（时任全国人大常委会委员长）知道毛泽东的态度，说还是不作结论为好。
一位留胡子的民主人士说：“我们人大作了决定，他有什么办法？”
刘少奇笑笑说：“人大可以作决定，但他是国家主席，要他签署命令才行啊！”“人大作了决定，国家主席就得签署命令。”
……
争论来争论去，刘少奇只好说：“你们不是经常可以见到毛主席吗？你们当面去说服他，争取他的同意，我们这次先不作决定。”
此后不久，中共中央书记处召开会议，毛泽东、刘少奇、周恩来、朱德、陈云等出席，邓小平、陈毅、彭真、聂荣臻、罗瑞卿、杨尚昆、宋任穷、陆定一等人列席。会议的议题之一是有关授予元帅军衔的问题。
毛泽东说：“你们搞评衔，是件很大的工作，也是件很不好搞的工作。我这个大元帅就不要了，让我穿上大元帅的制服多不舒服啊！到群众中去讲话多不方便呀！”
毛泽东态度坚决，确实起到了表率作用。
也正是在那次会上，毛泽东对刘少奇说：“你也在部队搞过，你也应该评元帅！”刘少奇挥了挥手，说：“不要评了，我现在不在军队工作了。”
毛泽东又问周恩来和邓小平：“你们的元帅军衔还要不要评啊？”
周恩来连连摆手说：“不要评了，不要评了！”
邓小平笑笑说：“当什么元帅哟，早不带兵了。”
按照中央决定，已到地方工作的部队干部原则上不授予现役军衔，考虑到历史情况和现实需要，有的人可以授予预备役军衔。陈毅和邓小平，除担任中共中央军委委员和中华人民共和国国防委员会副主席，与军事工作直接有关外，主要还是从事政府和党务工作。陈毅任国务院副总理，邓小平任中共中央秘书长，在军队中都没有其他职务。按照这一原则，既可以给他们授予军衔也可以不授。
毛泽东又看看李先念、邓子恢、张鼎丞等人，很有几分幽默地说：“你们几位的大将军衔还要不要啊？”
李先念操着浓重的湖北口音说：“我没想过当大将，我也不要评大将。”
张鼎丞和邓子恢也直摆手：“不要评了，不要评了。”
毛泽东说：“依我看呐，现在在地方工作的同志都不评军衔为好。”
……
后来，中共中央书记处再次召开会议，专门讨论授予元帅军衔的问题。邓小平、陈毅、聂荣臻、杨尚昆、宋任穷列席会议。周恩来打电话给时任中共中央副秘书长、中央办公厅主任的杨尚昆，谈了自己的意见，主张授予陈毅元帅军衔。周恩来说：“军衔授予，对陈毅同志现在和将来的工作均无不便之处，平时可以不穿军服（必要时穿）。苏联的布尔加宁同志原也有元帅衔，现在他做部长会议主席的工作就不常用元帅头衔了。可以说是一个例子。”
主持评衔工作的罗荣桓回到家里，对夫人林月琴说：“要给我元帅军衔，我不能接受。”他提笔给毛泽东写了一封极诚恳的信，说：我参加革命时间比较短，对革命的贡献也很小，给我授元帅衔当之有愧，我恳请不要给我元帅军衔……
