赵匡胤在后周管领禁兵时，曹彬中立不偏不倚，没有公事从不登门，群居宴会也很少参与，因此被器重。
建隆二年，曹彬从平阳被召回朝，宋太祖对他说："往日我常想亲近你，你为什么总是疏远我呢？"
曹彬叩头谢罪说："我是周室的近亲，又忝任宫内职务，端正做官，害怕有过失，哪里敢妄自结交呢？"
平定蜀乱时，诸将多取子女玉帛，曹彬行装中只有图书、衣服而已。回朝后，宋太祖知道这些情况后，把王全斌等人交给官吏治罪。他认为曹彬清介廉谨，授任为宣徽南院使、义成军节度使。
曹彬入宫朝见宋太祖，谢绝说："征西将士都被治罪，我单独受到赏赐，恐怕不能以示劝勉。"宋太祖说："你立有大功，又不自我夸耀功劳，即使有点小错，王全斌等人哪里值得提呢？执行劝勉大臣效忠国家的常典，不必辞让。"
