但就是这样的一个人，他的婚姻却十分不幸福。一开始他的结发夫妻死的比较早，还没有子嗣就已经去世了。之后他娶了其他的小妾，但都没有过孩子。当时他的年龄越来越大，也是变得更加苦恼。在古代，没有儿子就相当于绝后了。更何况他连一个孩子都没有，也是非常的烦恼，所以在他73岁那年就和一个婢女好上了。
而当初他也没有想到，这个婢女居然怀孕了，而且还是一个男孩。但不巧的是，他在婢女临盆当天并没有在家，而是出门办事了。之前他迎娶的妾室也非常嫉妒，所以就决定把这个孩子给扔掉。当是奴婢没有任何的话语权，自然也不敢吱声。妾室命仆人把他扔到了宫墙之外，但他觉得这样的做法太惨忍，所以就把他放到了一个棺材里。
后来等刘岌回来之后，那个小妾告诉他，孩子在出生的时候就已经死了，所以就让人扔掉了。当时他也没有多想，信以为真，以为自己又没有孩子，非常的抑郁。又过了数十年，有一天朋友跟他聊天说，你的儿子呢？他说自己到现在还没有孩子，朋友当时就告诉他，你已经有一个七岁的儿子，为什么不承认呢？
当时的刘岌并不明白，他说这话是什么意思。朋友就把当初的原委告诉了他，说当年那个仆人把孩子扔掉之后，有一个人路过发现有婴儿哭泣的声音。当即就把孩子抱走了，他看到是一个婴儿，十分不忍心。所以就一直带着他长大，之后他们查到了是一个刑部小官。当即就拿这100两银子去拜访这人，只不过他并不是一个贪图富贵的人。而且这个孩子，他从小就养到大，虽然不是亲生的，但也变成了亲儿子，十分不舍。好在最后在苦苦哀求之下，他终于同意了，儿子也重新回到了刘岌身边。
从此之后，他的儿子就过上了荣华富贵的生活。但是关于他母亲的记载，却一点都没有，或许在那样的一个社会，女子本来地位就比较低。再加上她是婢女，所以结局也是非常悲惨。
