赵高"管事二十余年"，以至于大家只会记得他在朝堂上的所作所为，忽略了他的卑微出身，在《史记蒙恬列传》曰:赵高者，诸赵疏属也。赵高昆弟数人，皆生隐宫，其母被刑僇，世世卑贱，《史记·李斯列传》记载说赵高是"宦人"，有"宦籍"。
史料中关于赵高的记载极少，《史记》中仅有的几句也含糊不清，无法被后世正确解读，"隐宫"被后世一些人解读为赵高兄弟受过宫刑，"隐"之一字是说男子经过阉割后，往往会在在密闭的"蚕室"里修养一段时间，避免破伤风等并发症，如此后世学者将"隐宫"理解为赵高受过宫刑。但"隐宫"是秦朝的一个场所，指为皇宫劳动的人员所聚集的地方，也可代指劳动人员，他们只比奴隶地位高了些，相比平民还差了些，因此经常被叫做"贱民"。
《秦始皇本纪》记述修建阿房宫时役使"隐宫徒刑者七十余万人"，同一时期的隐宫想必是代表着相同的意思，若按照后世宫刑的说法，这七十万人都被阉割，宫中要有数十万的太监，这根本是不可能的，纵使明朝的宦官受欢迎的程度很高，但也没有如此多的数量。另外这句话可以被解读为，赵高母亲因触犯刑法被收入"隐宫"，赵高兄弟皆出生于此，他们继承了母亲的卑贱身份，
