建武七年，光武帝与郑兴讨论郊祭之事，问："我想用图谶来推断，怎么样？"郑兴回答说，我不从事图谶预言。刘秀闻言怒骂："你不从事图谶预言，是认为它不对吗？"郑兴惶惧，赶紧辩解说："我未学过图谶之书，并非认为它不对。"刘秀这才气消。
郑兴只是惹来一顿怒骂，还算是轻的了，另有一人，曾因劝谏刘秀不要迷信图谶而丢了性命。
此人就是桓谭，时任给事中。鉴于刘秀喜好图谶，桓谭上书劝谏刘秀应当听取正确意见，发扬圣明思想，遵循儒学正道，摒弃图谶邪说。
刘秀看到桓谭的奏疏，十分不快，适逢朝廷为灵台选址进行讨论，光武帝便对桓谭说："我打算用符谶来决定此事，怎样？"
桓谭沉默不语，光武帝却非要桓谭表态不可，双方僵持了很久，最后桓谭毕竟细胳膊扭不过大腿，只得学郑兴说："我不读符谶之书。"
