段祺瑞见八字尚无一撇，天机却已泄露，觉得不如先南下敷衍蒋介石一番为好。段的小女段式荃嫁与曾任许世英秘书的傅霖，住在上海。段便以探亲为名，应蒋介石之邀赴南京了。
一月二十二日上午八时整，段祺瑞所乘车到达浦口。从南京过江前往浦口车站欢迎的人达六百多名。原保定陆军速成学校在京校友会及在京安徽同乡会的代表也前去，他们高举着"欢迎三造共和的段老先生"，"欢迎抗日救国元老段先生"等字样的横幅，特别引人注目。段下车后，登上早就准备好的"澄平号"渡轮。渡轮一靠岸，蒋介石率先登上船，拜见段祺瑞。
段祺瑞在南京逗留了两天一夜后，婉拒了蒋介石请其留住南京的建议。二十三日晚，蒋介石微服简从，亲自到下关为段送行。段一行人登上了驶往上海的列车。
段祺瑞在上海起初住在市政府为其安排的旧福开森路世界学院，后移居霞飞路前安徽省长陈调元的公馆。蒋介石每月拨付两万元生活费，至于让段出任总统之事，以后再也没有提起。而段祺瑞对这类空头支票只是姑妄听之而已，并不期望兑现，也未接受蒋给他的国府委员虚衔。在沪期间，段祺瑞以正道居士之名，参加沪上佛教居士王一亭、屈映光等组织的菩提精舍的活动，精研佛法，颐养天年，从此不再与闻政事。
