1923年，北洋政府认为国会会场狭小，筹划将参众两院前往紫禁城三大殿所在的位置，并将三大殿拆掉改建。就在此时，身在河南洛阳的吴佩孚获悉后大怒，立即向大总统黎元洪、国务总理等发出电报，强烈反对拆掉三大殿，称谁拆谁是罪人。
吴佩孚在电报中写道，"尝闻之欧西游归者，据云，百国宫殿，精美则有之，无有能比三殿之雄壮者。此不止中国之奇迹，实大地百国之瑰宝。欧美各国无不龂龂以保护古物为重，有此号为文明，反之则号为野蛮。其于帝殿教庙，尤为郑重。印度已逐蒙古帝，英人已灭印度王，而施爹利，鸭加喇两地，蒙古皇帝宫殿，至今珍护，坏则修之。"
吴佩孚的电文一经公开后，全国舆论哗然，各种指责扑面而来。当年5月26日，主持国会迁移的国会众议院议长吴景濂、参议院议长王家襄等人回电吴佩孚。
