郭子仪的王府位于长安的中心区，是一个富丽堂皇的的建筑群，与其他防备森严的王府、官邸不同的是，郭子仪的王府基本不设门卫，每天都府门大开。若想进王府，根本不需要任何通报，上至王公大臣，下至走卒贩夫都可在王府中出入。
汾阳王府松散的管理制度，最终严重影响了郭子仪一家的正常生活。一天，一个老部下去郭子仪家办事，临走前来到王府辞行。由于没有人阻拦，这名老部下径直进入了王府的内院，只见郭子仪的妻子和女儿正在洗漱。而郭子仪呢？端着一盆水，肩头放着几个毛巾，一会儿给女眷们递水，一会儿给她们递毛巾，忙得不亦乐乎，就像个奴仆。
部下回去后，将自己所见告诉了朋友。随后，郭子仪服侍妻女的事一传十十传百，成为首都长安民众所周知的笑料。不堪于民众对自家的嘲笑，郭子仪的儿子们纷纷向父亲进言，希望启用门禁制度，不能再让别人随意进出了。对于儿子们的请求，郭子仪只是捋捋胡须，不置可否。
