夏衍曾这么回忆道: “我记得他（引者注:刘少奇）问潘汉年，青帮会不会像1927 年那样捣乱，潘回答说，他和杜月笙的儿子杜维屏有联系。1948 年在香港，汉年和我（引者注:夏衍）还去看访过杜月笙。我们离开香港之前，杜月笙曾向我们作了保证，一定要安分守己。又说，据他（引者注:潘汉年）了解，黄金荣那帮人也不会闹事。少奇同志要潘汉年告诉陈毅、饶漱石，先不动他们，观察一个时期再说。”
图为黄金荣
然而，尽管中共高层确定了“不动他”的政策，但是广大群众并不了解。上海不少市民恨透了黄金荣，纷纷写信给上海市人民政府，强烈要求逮捕黄金荣，以至枪毙黄金荣。再说，长期让黄金荣自由自在，不加管教，也不利于对他的改造。
当时接管上海工作的干部杜宣接到上海市军管会的命令，派他前往黄金荣家，对他进行一次教育性的谈话。
杜宣记得，那时天气很热，已经到了穿短袖衬衫的时节，但是他仍穿一身军装，胸前挂着“中国人民解放军”符号，腰束皮带，佩着短枪，带着十几个全副武装的解放军战士，乘坐两辆中吉普，直奔黄金荣的家。
由于事先得到上海市军管会的电话通知，说是军管会的军事代表要来，黄金荣连忙做了准备。这样，当杜宣带着战士到达黄宅时，黄金荣已经早早打开黑漆大门迎迓。二三十个黄金荣的门徒，一律光头，上着中式白短褂，下穿黑色灯笼裤，脚登圆口黑布鞋，一字儿摆开，分两厢站立，恭迎“长官”。
