吴曦是吴璘和吴玠的孙辈，在小时候就很有自己的主意。有一次父亲吴挺无意间听到自己的儿子吴曦在大放厥词，说朝廷哪里哪里不好。这可把吴挺给气坏了，就教育了吴曦几句。
没想到吴曦听后依然不加收敛，还说得更加起劲了。吴挺勃然大怒，对着吴曦猛踢了一脚。无意间将吴曦踢到了火炉之上，吴曦的脸部被烫伤，最后留下了一块丑陋的疤。
后来吴曦被送往临安为人质，用以牵制吴氏家族的势力。当人质就只能老老实实的像个傀儡一样活着，稍微有点异动就会被人误会牵连家族。吴曦又是个有自己想法的人，所以在临安过得非常压抑。最后就连父亲吴挺去世想要回去吊唁也不被同意。
虽说如此，当时的皇帝对吴曦还是比较仁慈的。一方面提防着吴曦，不让他回川陕，另一方面让吴曦入朝为官，也并不是打酱油的闲职。吴曦自身才能不错，皇帝也就重用了他，让他一路晋升到了太尉。
