后来，吕布和刘备因为矛盾而刀兵相见，他想让袁涣写信辱骂刘备。但是，品德高尚的袁涣拒绝了他，吕布气急败坏，拔出刀来威胁他："写，你就可以活命。不写，就让你做刀下鬼。"常人面对这种事，定会吓得面无血色，而袁涣却不为所动，并笑着回答："我听说高尚的品德能够让人感到羞愧，没听说谩骂可以让人羞耻。我之前侍奉刘备，就和今天侍奉将军您一样。如果以后，我离开了将军，再侍奉别人。到那时，又替别人来写信来侮辱将军您，那将军您会怎么想呢？"
吕布听后面红耳赤，羞愧不已，不仅不再逼迫他，相反对他更为敬重。不久，吕布又被曹操击败，袁涣归附曹操。曹操对他十分尊敬，向他询问治国之道。袁涣引用《道德经》当中的句子，"夫兵者，凶器也，不得已而用之。"他又向曹操进言施仁政，聚民心。曹操听完之后，认为很有道理，又认命他做了南部都尉。
