为了节省开支，段祺瑞一改从不管家的习惯，亲自过目每日的账目段祺瑞下野后，住在日租界魏宗翰的公馆。段祺瑞生性不爱财，因而也没有什么家底，连合肥老家也无房产和地产，北京的公馆还是当年袁世凯赠送给他的。段祺瑞家规很严，夫人和姨太太都不准干预公事。有一位姨太太想替一个老妈子的亲戚谋个差使，段祺瑞立即气歪了鼻子，厉声喝道：“好啊！你们要卖官怎么着？”

合肥老家的人来京谋差使，他也不过招待他们住一段日子，四处玩，再给一些钱打发他们回去，胞弟段祺甫来京求大哥给找个官做，段祺瑞说：“你哪适合做官呢？给你一些钱，你还是回去做份买卖吧。”

为了节省开支，段祺瑞一改从不管家的习惯，亲自过目每日的账目。公馆规模也缩小了，厨房里只剩八九个人，当差打杂的加上看门的，不过十来个人，原来太太小姐们每人屋里三四个老妈子也压缩到一两个。

原配夫人过世后，段祺瑞娶了袁世凯的养女张氏为继妻，此外，他还有五位姨太太。大姨太病死于1914年，三姨太、四姨太先后被遣回家。

1930年2月，冯玉祥和阎锡山联合反蒋，日本人认为有机可乘，密谋策动“北洋派大同盟”，推戴段祺瑞和吴佩孚为领袖，试图在华北制造混乱。在特务头子土肥原贤二的安排下，段祺瑞与溥仪在天津有过一次秘密会晤，但两人都很不愉快。事后有人问及，段祺瑞生气地说：“鄙人忝为国家元首，这小子到今天还摆皇帝的臭架子，真是岂有此理！”

“九·一八”之后，日本扶持废帝溥仪在东北建立了伪满州国，又企图利用段祺瑞的威望和影响，建立华北伪政权。这一动向引起了蒋介石的不安。

自从北伐胜利后，蒋介石就极力笼络段祺瑞。蒋介石还安排与段宏纳会晤，亲切地对段宏纳说：“我也是保定陆军学堂学生，段先生是我的老师。我因公务繁忙，不能前往天津看望先生。”事后，蒋介石还派人送了2万元生活费给段祺瑞，以后又陆续送过几次。

1933年1月19日，交通银行董事长钱永铭受蒋介石委托持蒋介石亲笔信去见段祺瑞。蒋介石在信中恳请段祺瑞“南下颐养”，以便随时请教。这时传来日本要劫持段祺瑞的消息，段祺瑞于是决定接受蒋介石的邀请南下，他对钱永铭说：“我已老不中用了，如介石认为我南下于国事有益，我可以随时就道。”

1月21日凌晨，段祺瑞在吴光新、魏宗瀚、段宏纳的陪同下悄悄离开了天津。蒋介石对段祺瑞的到来十分重视，通令南京少将以上的军人过江到浦口车站迎接，他本人也亲往下关码头恭候。段祺瑞到达时，全副戎装的蒋介石立即迎上前敬礼，然后搀扶他下船。当晚，蒋介石设宴招待段祺瑞，南京的军政要员也都出席作陪。

1月23日，段祺瑞在蒋介石、何应钦、孙科的陪同下，拜谒了中山陵，然后乘快车去了上海。

到了上海，段祺瑞住在法租界霞飞路1487号的一座公馆里，由蒋介石每月赠送1万元供作生活之用。段祺瑞在公寓居住期间每日下一局围棋，然后静坐诵经或阅读旧书。

1934年春，段祺瑞由于胃溃疡引起胃部出血住院治疗。出院之后，由于年事已高，身体日益衰弱，医生和友人都劝他开荤以增加营养，但他执意不肯，回答说：“人可死，荤不可开。”

1936年11月1日，段祺瑞因胃病又一次发作，出血不止，于次日晚在上海的医院去世，时年72岁。11月5日举行大殓，林森、居正、于右任、吴忠信、张治中均亲临吊唁。12月7日，移灵北京，暂厝西山卧佛寺后殿。1963年后移葬于香山附近万安公墓。