小姐楼与前院中间有道墙，墙中间的门，便是过 去人们常说的"大门不出，二门不迈"的二门了。墙门把小姐楼与外界严密隔开，男子严禁进入二门半步。小姐楼又叫"走马楼"，是李府女眷住的地方。小姐楼后一进的楼上摆放着古老的绣床、雕花的梳妆台、大理石面的圆凳，床、台、凳都是有着几百年历史的红木家具。屋内一个漂亮的粉彩瓷礅，放在红木梳妆台前。
小姐楼造型为封闭回廊式木楼。楼下正中的一方天井，上承天光，下接地气，迎合阴阳调合之风水学。楼上东首第一间房，是李鸿章幼女菊耦（著名作家张爱玲的祖母）所住，正中则是老夫人所居。老宅有一个后园，始建于故居建成后，是供家眷们休闲娱乐的后花园。
1985年，李鸿章故居公布为合肥市文物保护单位。
1993年4月，淮河路中段旧城改造方案中也曾将李鸿章家族故居列为拆除范围。围绕"保"与"拆"，合肥市文物部门和城建部门有不同的声音，也引发了当地媒体的广泛关注和报道，文物工作者程如峰老先生为保护李鸿章家族故居奔走呼号。先后给多位领导和驻美大使李道豫（李鸿章三弟李鹤章的四代孙）等写信要求保护"李鸿章住宅"。
