当时的皇帝是辽圣宗，也是这为皇帝非常欣赏他，而在皇帝去到他当官所处是，一般都会见识一下当地的特产，但这位皇帝听到当地的特产是张俭。皇帝就觉得非常好奇，应该是一个怎样的人呢，才让那么多少拥护他，还说他是当地的特产。在经过两人的交谈之后，皇帝就更加喜欢他了，张俭的为人处世，特别受到皇帝的欣赏，他因此就得到了皇帝的奖赏，一下子就升官了。
经过几年的时间，他就升到了宰相的位置，在他在职期间立下了很大的功劳，政绩也是相当不错。辽圣宗也很器重他，都会把重要的事情交给他，在皇帝逝世以后，他的儿子辽兴宗就成了新的皇帝，但这位皇帝跟先帝的作风完全不一样，非常铺张浪费，跟张俭的作风也有不同。有一次上朝，皇帝就发现宰相为什么每一次的衣服都是一样的，好像从来没有更换过。
为了证明这件事情，辽兴宗想到了一个办法，他让下人在宰相不注意的时候，在他的衣服表面弄个洞，这样就可以看看他下一次会不会穿这件衣服。当他来跟皇帝禀报事情的时候，皇帝就发现他真的穿着同一件衣服，问起他的原因。他解释说到，说这件衣服已经三十年了，一直不舍得扔掉。皇帝也是十分的震惊，下令打开国库，让他随便挑里面的东西，但是他只拿了三匹布。
