王僧虔就这样在官场小心翼翼的做官，虽然有在宋明帝时期被短期罢官的记录，但整个刘宋时期其官位是越做越大。到了479年，当时的刘宋权臣萧道成篡了刘宋王朝的位，自己当皇帝建立了南齐了。南齐建立后，刚好南齐的皇帝萧道成也是个书法家，而且一心想要显示自己的高水平书法。为了显得自己水平高，于是他要和当时水平最高的王僧虔比赛书法。当然，王僧虔的书法天下第一这个是毫无意外的，但是人家是皇帝啊，你只是个下级，能怎么办呢？自己名声在外，总不能再像年轻20岁时期乱写一通蒙混孝武帝一样过关吧。比赛马上写完了字，萧道成问道：我俩谁是第一？王僧虔这个时刻就显示他答话的水平了，回答到：臣下我为臣子中的第一，陛下您为帝王中的第一。这句话回答得相当好，皇帝非常高兴的说到：你真算是善于为自己谋划了。可以想象这句话背后的意思，你回答得好，回答不好的话脑袋得遭殃。
王僧虔这种性格使得他保全身家的时候，官也越做越大。萧道成去世后，齐武帝萧赜即位。萧赜想让他当三公的官职，这个时候因为自己的侄子已经有一个三公了，所以其坚决推迟。没过多久，485年王僧虔逝世，享年60岁。
