据悉，目前的日本首相公邸在2002年现行官邸整建完成前，一直作为官邸使用。
《韩民族日报》曾报道称，日本首相公邸曾发生过被称为"帝都不祥事件"的"二二六"兵变、以及"五一五"事件等血腥历史事件。在"五一五"事件中，当时的日本首相犬养毅在此被旧日本海军下层军官暗杀身亡。由此，一直有传闻称首相公邸里有"鬼魂"、"幽灵"出没。实际上，早在2013年，就曾有在野党议员质询时任首相安倍晋三，是否因为"鬼魂"传言而不搬进公邸。
报道还提到，在日本的政治神经中枢东京永田町地区，有一个坊间流传的传说："首相搬进公邸，意味着其任期很快就会结束。"报道称，曾住公邸的7位首相中，除了小泉纯一郎，其他6位首相都只任职了1年左右就被迫下台。安倍第二次担任首相时，没有搬进公邸，而他的首相任期持续了7年9个月，是日本历史上最长的一次。
