但随着权势的增长，刘琰变得越来越不注意检点自己。在日常生活中，刘琰的车服饮食之奢侈靡费是非常有名的。他嗜酒贪杯，养了好几十个侍女，个个都能歌舞吹弹。他还教她们诵读著名辞赋大家王延寿所作的《鲁灵光殿赋》，以此自命风流。
在军中，刘琰也不注意约束自己的言行。公元232年，诸葛亮经数次北伐后，决定"休士劝农"、"教兵讲武"于黄沙，以积蓄力量，再图北进。这时，刘琰与刘备集团的另一重要成员魏延发生不和。由于刘琰说话经常满嘴跑火车，因而受到诸葛亮的严厉批评。刘琰还曾为此给诸葛亮写信，自陈己过，认错道歉，进行自责，并赌咒发誓今后一定自律，克制私欲。于是诸葛亮让他回到成都，仍保留原来的官职。就这样刘琰并未遭到一贯依法行事、执法严明、不避权贵、不拘私情的诸葛亮的惩罚。也许是诸葛承相念他是两朝老臣，对国家还是忠心耿耿，只是"身中秽垢"，"不致之于理"，才使其保全了性命与禄位。
保住了官位的刘琰，从军中回到了成都。或许因为远离了自己熟悉的军队和承相而产生了一种失落，或许因为两朝老臣受到了责备丢失了脸面而心中不安，或许已老迈昏馈加之饮酒无度已思虑不清……总之，此时的刘琰已是失魂落魄，精神恍惚。
公元234年正月，按惯例，大臣们的妻子、母亲可以进宫朝贺，刘琰的妻子--美貌的胡氏亦进宫给太后贺喜。不知道出于何种考虑，太后下令特别留下胡氏，让她在宫里多住几天多玩些日子。胡氏自己也玩得挺开心，结果到她回家时，已经是进宫后一个多月的事了。
