因为还在襁褓之中便遭遇了巫蛊之乱，刘病己的祖父、祖母、父亲、母亲、姑姑等亲人都被处死，自己也"坐收系郡邸狱"，也就是被关押进了在长安设置的临时监狱中。
不久，汉武帝召来邴吉，让他前往监狱继续深入调查巫蛊案。邴吉心中却清楚刘据被施加的罪名并不真实，又可怜刘病己刚出生便无辜被牵连，于是待他很好。
当时，还是婴儿的刘病己没有了母亲，狱中也自然不会给他配备奶妈。邴吉便"使女徒复作淮阳赵征卿、渭城胡组更乳养"。在两个女囚的共同抚养，以及邴吉的特殊关照下，刘病己慢慢长大，到了他还不满五岁时，一名善于"望气"的人对武帝说，长安的监狱中有着天子之气，将会出现皇帝。
当时，汉武帝早已忘了还有刘病己的存在。他害怕监狱中囚犯会当上皇帝，于是立刻下令将狱中犯人不分罪行轻重一律处死。面对被武帝派出的特使郭穣，邴吉紧闭大门，还声称："皇曾孙在。他人亡辜死者犹不可，况亲曾孙乎！"最终，邴吉在门前守了一天一夜，而武帝听说后才知道自己的曾孙还活着，便宣布大赦狱中犯人。
