赵俨出生于东汉灵帝建宁年间，自小熟读经史。年届弱冠，就称誉乡里。与阳翟辛毗、许昌陈群、定陵杜袭并称颍川四大名士。赵俨为避战乱，举家迁到荆州。在此结识了杜袭和繁钦，三人一见如故，成为莫逆之交。当时割据荆州的刘表，素闻赵俨、杜袭、繁钦之名，多次请他们入仕。赵俨通过观察，认为刘表目光短浅，虽然显赫一时，但终难成就大事，坚辞不就。公元196年（建安元年），曹操迎汉献帝于许昌，并接受枣祗的建议实施屯田制以后，赵俨就对繁钦说："曹镇东（曹操当时为镇东大将军）应时顺世，必能匡济华夏，我知道我的去处了。"于是就同杜袭、繁钦等人一起举家北还。
公元197年（建安二年），赵俨带着老弱家小投奔曹操，曹操任命赵俨为朗陵长，赵俨把朗陵县治理得很好。公元200年（建安五年），曹操同袁绍在官渡对峙。双方力量对比悬殊很大，袁绍派使者引诱招降豫州各郡。只有阳安郡不为所动，但都尉李通又急于向老百姓征收税款，赵俨面见李通希望退还百姓税款。阳安郡的吏民听到这个消息，上上下下，欢天喜地，人心安定，更是执守忠节。以后赵俨入朝任司空掾属主簿。而后赵俨又协助李通率领阳安郡军民，平息了流窜于淮河与汝河之间的流寇，使阳安成为屏护许昌的坚固堡垒，免去了曹操同袁绍决战的后顾之忧。
当时张辽、乐进和于禁分别屯驻于长社、阳翟和颍阴，他们彼此之间由于功高位显而不服气，经常为一些琐碎之事发生争吵，以至于发生严重的摩擦，影响了军队内部的团结。曹操就任命赵俨为参军，参与张辽、乐进、于禁三军军事。赵俨运用规劝、疏导的方法消除化解矛盾，解决问题，终于使三位大将消除积怨，保证了军队的团结。因赵俨治军有方，从此经常被任命为都督护军，统率协调曹操的高级将领出外征伐。公元208年（建安十三年），曹操征讨荆州，派赵俨兼任章陵太守，并提升他为都督护军，监领于禁、张辽、张郃、朱灵、李典、路招、冯楷七路人马。后又担任丞相主簿，调任扶风太守。
公元211年（建安十六年），曹操击破关中十一路联军后，把原来在韩遂、马超手下当兵的五千多人，交给平难将军殷署等人统领，任命赵俨为关中护军，统率各军。其间羌兵多有侵扰，赵俨率殷署等一直追到新平，大破羌人。之后农民吕并起兵，聚集党羽抢占了陈仓，赵俨又率领殷署等对他们发起进攻，贼寇被消灭了。
当时朝廷下令命赵俨派遣一千二百名士兵前往汉中协助驻守，赵俨便让殷署负责监督护送。被选中的士兵不忍和自己的家人分离，个个愁容满面。殷署带兵出发刚走一天，赵俨担心士兵有变，亲自追到斜谷口，挨个慰劳士兵，又再三叮嘱告诫殷署，然后才返回。殷署带兵行至四十里时，士兵果然叛乱。不久，赵俨平息叛乱。
