到了隋朝建国后，隋文帝杨坚认为隋朝属土，有稳定厚重之意，于是就勒令皇帝一切用度都用黄色。到了公元618年，李渊以唐代隋，为了加强中央集权，突出皇帝的特权，就下令以后黄色只准皇帝用，其他人不得擅自使用黄色。
刚开始还有皇帝继续穿其他颜色，比如说红色黑色之类的。但是随着时间变化，皇帝们逐渐习惯了只穿黄色。后来之后这个习惯就一直流传至明清，直到1912年大清灭亡后，才没有了百姓不准穿黄色的说法。
看了这么多后，懂了为何只有秦始皇龙袍为黑了吧？其实也不只是秦始皇，只是他的名头比较大，再加上之前的皇帝都无所谓，穿啥都行；之后的皇帝为了强调特权，自然要使用一个能让人印象深刻的颜色，所以就有了其他皇帝为了避讳秦始皇不穿黑色龙袍的说法。
参考资料：《史记》、《礼记》
