撒手归去 葬于北京
一九三六年十一月一日，段祺瑞胃溃疡病复发，出血不止，经中西医诊治无效，于翌日晚八时寿终正寝，终年七十一岁。弥留之际，他亲笔留下遗嘱，遗嘱对当时的中国局势十分悲观："余年已七十余，一朝怛化，揆诸生寄死归理，一切无所萦怀。惟我瞻四方，蹙国万里，民穷财尽，实所痛心。""国虽危弱，必有复兴之望。复兴之道，亦至简单。勿因我见而轻启政争，勿空谈而不顾实践，勿兴不急之务而浪花用民财，勿信进激之说而自摇邦本；讲外交者勿忘巩固国防，司教育者勿忘宝存国粹，治家者勿弃固有之礼教，求学者勿鹜时尚之纷华。本此八勿，以应万有。所谓自力更生者在此，转弱为强者亦在此矣。"十一月五日，南京国民政府明令表彰段祺瑞在民国初年两造共和的功勋，予段以国葬。
蒋介石拨款二十万元，在皖南黄山购置了一块坟地，拟将遗体安葬在那里，这也合乎"树高千丈，叶落归根"的旧俗。然而其长子段宏业力主将父亲灵柩运往北京安葬。
段宏业在京将其父遗体暂放香山卧佛寺，便开始寻觅一块风水宝地，但始终找不到一块合适的茔地。一九三七年日军占领北平之后，征用了卧佛寺，催段家速将段祺瑞的棺材搬走。当时正值兵荒马乱，段家连活人都自顾不暇，哪里顾得上死人，于是匆匆忙忙把灵柩起出，移到北平西郊段氏的三弟段子猷的坟地南面，就靠在大道边上挖个坑，埋了下去。
二十六年之后，段宏纲和曾任北洋政府教育总长的章士钊才在北京万安公墓觅地安葬了段祺瑞。章士钊等反复斟酌，题笔为其写了墓碑："合肥段公芝泉之墓"。
