然而就在这一时期，民间却出现了一本扰乱人心的"妖书"，即唐朝袁天罡、李淳风合写的《推背图》，相传是一本可以预言朝代兴衰的传世之作。在一些人的宣传下，民间风传袁、李二人在书中预言，大宋王朝到了宋太宗这一代就要走向灭亡，大家要赶紧做好乱世的准备，如此蛊惑人心的荒诞谣言来势汹汹，很快就在汴京城中传开，整得京城百姓人心惶惶。
当时的开封府尹压制不住后，立刻将此事上奏，宋太宗听后脸色大变，意识到这绝不是一件小事，如果处理不好，恐怕会酿成大祸。为稳定人心，赵光义连忙下旨，命令有司将《推背图》列为禁书，一旦发现谁家藏有此书，都要坚决予以查抄，同时严厉惩治那些故意造谣与传谣的不法之人。
宋太宗此举说来无可厚非，换成任何一个君王都会如此行事，然而《推背图》早已在民间流传数百年，家中藏有此书的百姓很多，很难在短时间内查抄干净，这无疑给负责此事的官员造成了极大困难。一日，负责查禁此书的大臣向宋太宗上言，称查禁之事已开展一段时间，虽成效斐然，可是持有这本书的百姓却越来越多。因此建议太宗采取其他方法处理，一味地查禁不是长久之举。
