韩休被提拔为宰相有点戏剧性。开元二十一年（733年），前任宰相死后，唐玄宗命徐国公萧嵩推荐宰相人选，萧嵩将韩休的道德、品行赞扬了一番，于是韩休被提升为宰相。萧嵩原以为韩休是一个“柔易”之人，容易控制，哪知韩休当上宰相以后，连“恩人”萧嵩也敢顶。
在任宰相之前，韩休担任虢州（今河南西部）刺史，因地处洛阳与长安之间，马车、兵车到达后，经常征收草料税，加重了本州的税收。韩休向中央请求把税赋分摊到其他的州郡去。宰相张说说：“把虢州的税赋分摊到別的州，这不过是韩休为了自己的利益罢了。”韩休义无反顾地坚持自己的意见，饱经宦海险象的老吏说这样做会得罪宰相。韩休说：“当刺史而不能救百姓之忧，如何施政？”在他的坚持不懈下，张说终于让步了。
韩休对玄宗也敢提出不同意见。担任万年尉的李美玉犯了罪，唐玄宗要将他流放岭南。韩休说：“他是一个小官，犯的又不是大罪。现在朝廷有大奸而不除，是舍大取小。请先惩办大奸程伯献，他恃恩而贪，宅第车马超过规定的标准。”玄宗不许，而韩休仍坚持自己的意见：“陛下如不罢免程伯献，臣是不敢奉命处理李美玉的。”玄宗无奈，只好让步。
