儒家成为正统后，建立了服饰的尚色制度，用颜色区分贵贱、尊卑，《汉书•东方朔传》中也提到，绿衣是身份卑微之人与朝堂上的无名小官才会穿的服饰配色。
尤其是到了隋唐之后，服饰的颜色正式成为一种区分高低贵贱的方式，不同身份的人，是不能越过自己的身份地位去选择衣着颜色的。
白居易的《忆微之》诗云：“折腰俱老绿衫中”，形容仕途坎坷，人老白首仍屈身于低微的“绿衫”行列之中。
就连大V李白都公开嘲讽“绿帻谁家子，卖珠轻薄儿”。所以在当时，如果骂一个人“绿”，其实是骂那个人低贱的意思，总之就是看不起绿色。
不仅如此，绿色的头巾更是演变成一种变相惩罚犯人的方式，比打屁股还屈辱。
唐朝有个叫李封的县令，就用这个观念玩起了精神羞辱，他把戴绿头巾作为对手下人办事不利的惩罚，谁要是被勒令戴绿头巾，估计得羞愤欲死。
“不加杖罚，但令裹碧头巾以辱之——《封氏见闻录》”
绿帽子是男性地位的特有标志
在衣服颜色严格的规定下，底层的工作者服饰颜色的选择本来就很有限。在不冲撞上层阶级的前提下，想穿得颜色丰富一些，可选择的颜色就更少了。所以古时的风尘女子多穿紫衫，而在妓院里工作的男性则会戴绿色的帽子。
到元代时，风尘场所工作者的服装更是被直接做了规定，乐人和妓女必须穿绿服，饰绿头巾。《元典章》中还规定，娼妓的家长和兄弟也都必须裹上青色的头巾。
所以这“绿帽子”除了低贱之外还和“风尘”攀上了亲。
朱元璋是农民起家，期间还当过一阵子的和尚，崇尚勤俭节约，对于商人以及花天酒地这类一直很排斥，所以自打朱元璋称帝后，就开始正大光明的施行报复规定，对服饰都进行了详尽的规定，农民可以穿绸、纱、绢、布四种衣料，而商人却只能穿绢、布。
