唐朝贞观之前,御史台仅仅风闻奏事,没有司法权力。贞观间,御史台设置台狱,受理特殊的诉讼案件。开元十四年(726年)后,专设受事御史一员,以御史充任,每日一人轮流受理词讼。从此,凡重大案件,御史台和刑部、大理寺组成三法司联合审理。大理寺负责审讯人犯、拟定判词,刑部负责复核,同时报御史台监审。元代的御史制度空前发达,御史台直接在地方设立行御史台,与行枢密院、行中书省并立。
明初,延袭元制,也设有御史台,左、右御史大夫分别为邓愈与汤和,刘伯温与章溢为御史中丞。
洪武十三年(1380年),罢御史台;洪武十五年(1382年),更置都察院。其职守是,"纠劾百司,辨明冤枉,提督各道,为天子耳目风纪之司"。都察院的主官为左、右都御史(即原左、右御史大夫),左都御史主掌都察院,右都御史辅之。左、右都御史同正二品;其下的左、右副都御史(即原御史中丞),正三品。