由于刘琰言过其实，又处在高位，于是经常与同事发生摩擦。曾与大将魏延发生冲突，吵得十分热闹，刘琰说话虚伪不实，装腔做调，受到了诸葛亮的责备。刘琰大惊，于是上书诸葛亮，希望能原谅自己。诸葛亮看刘琰真心改过，言辞诚恳，于是就放了他，让他回到成都，不加责罚。但由于心眼小，刘琰此后变得神情失常。
俗话说红颜祸水，很多事情总是意想不到。刘琰有个夫人胡氏，长得很是美丽，历史上也称其：颇有姿色。公元234年正月，这位胡氏和往常一样，随许多大臣的妻子一起进宫，为刘备的遗孀吴太后祝贺新春。由于吴太后久在深宫，又守寡多年，于是就留胡氏在宫中多呆了一些时间，谁知一待竟然待了一个月，才让胡氏回家。
胡氏回到家后，本想和刘琰说下在宫中与吴太后的事情，但不想却因此事受到了刘琰的暴虐。刘琰对胡氏劈头盖脸一顿臭骂，甚至都动起手来了。胡氏大惊，都不知道为什么受到刘琰如此的虐待，于是向刘琰询问原因，才知道原来刘琰认为胡氏不守妇道，这么多天待在宫中，根本不是为了陪吴太后，而是与后主刘禅在一起。胡氏真是跳进黄河也洗不清了，无论怎样和刘琰解释，都不行。刘琰命行刑的士卒用靴子抽打胡氏的脸，一顿打后还把胡氏一纸休书赶出了家门。
