儿子吴嘉龙曾入行拍戏，参演不少电影，但发展20年，成绩未如理想。
吴耀汉的三名女儿吴瑞莺、吴素儿及吴瑞珊并非圈中人，鲜有公开露面。
2021年3月，吴耀汉两个女儿同时卷入大麻案。
报道指二人在村屋内种植大麻，警方发现了十三株大麻植物，内有太阳灯、通风设施、温度计及湿度计等，如同一个小型大麻种植场。
警方相信，有人将大麻花提炼后制成巧克力及其他食品出售。
当时，吴耀汉与妻子住在同村另一套村屋，经常与两个女儿来往。
对于两个女儿涉及毒品案件，吴耀汉受访时表现无奈，他认为女儿已经长大，作为父母很难管束，唯一办法只能接受。
值得关注的是，吴耀汉年轻时赚了不少钱，但他晚年与妻子、女儿入住村屋，经济环境似乎不及当年。
有报道指其身家高达30亿港元，这一点并没有被证实。
