一直以来，大家都认为赵高是一个宦官，因为在《史记》里有这么一段记述："赵高昆弟数人，皆生隐宫，其母被刑僇，世世卑贱。"后世便认为赵高是从小便受了宫刑，成了一名宦官。不过，现代有些历史学家指出，"隐宫"实为"隐官"之误，赵高是个正常人，并非受了刑的宦官。赵高在成年之前，至少是个正常人，这点是无疑的，因为他还有一个女儿。后来有没有当宦官，这个不好说。但是有一点是肯定的，就是赵高是从社会最低贱的底层，靠着自己的奋斗，一步步爬到高位。
赵高为人勤奋，又精通法律（有传言说他父亲是文法官吏）。据说赵高曾经写过一本关于法学的专著，还熟读秦国法律，甚至能将律法倒背如流，这样的一个人，每当秦始皇处理政事往往涉及繁杂的法律问题，赵高"法律顾问"的作用就凸显出来了，于是，秦始皇对赵高便有所依赖了；后来，还让他教自己的少子胡亥判案断狱，可见，赵高在法律方面的确有才！
赵高篆字了得，是秦汉时期的书法大家。据唐张怀罐《书断》卷上《大篆》说："赵高善篆，教始皇少子胡女书。"可见赵高不仅擅长篆字，还担任胡亥的书写老师，更著有《爰历篇》六章。赵高骑术了得。赵高不仅是御马高手，骑术精湛，而且驭车技术高超，每每始皇出行，总能驭车左右，于是，他被提拔为王宫的车队队长(中府库令)，专门负责皇帝出行的车驾。
