刘子业的姑姑新蔡公主-刘英媚，是当时刘宋王朝卫将军何瑀的儿子何迈的妻子。公元465年，刘子业宣姑姑进宫，并强迫她发生了关系。然后刘子业杀死了一名宫女，把尸体送到何迈的府上，告诉他这就是他刘英媚，她在宫中暴毙了。并且用公主的礼仪殡殓埋葬了她。从此刘英媚改姓谢氏，被刘子业封为"夫人"，给与特别高的规格。但何迈又不是傻子，他谋划趁刘子业出游时将他杀掉，另立新君。不幸的是事情走漏了风声，何迈被刘子业杀死。
刘子业有个姐姐，是当时被视作皇族第一美女的山阴公主-刘楚玉。与被迫顺从的姑姑不一样，山阴公主与刘子业算得上同道中人。刘子业经常与自己的亲姐姐同吃同住，淫乐作乱，俨然一副夫妻的模样。有一天，山阴公主对刘子业说：
"妾与陛下，虽男女有殊，俱托体先帝。陛下六宫万数，而妾唯驸马一人。事不均平，一何至此!"（《宋书》）
