1941年，重庆《新华日报》曾刊文，特别盛赞胡文虎“捐资抗战达数千余万之巨”，“付资于义捐及公债者达数百万元”。1949年新中国成立后，胡文虎又带头认购2万份人民政府发行的“胜利公债”。据粗略统计，胡文虎生前捐赠给中国国内慈善事业的款项达2000万元。
胡文虎曾经表明了对财富的态度，他鄙视守财奴，认为钱是取之于社会，应当回馈于社会。“南洋华侨巨富，鲜有富过三代者。有之，多变为子孙争讼之资，社会即未蒙其福利，而子孙反遭其殃……财自我聚，当自我散，取诸于社会，当用诸于社会，方可谓得其所。”
但就是这样一位慈善家，却在1950年之后被扣上了“汉奸”帽子，在内地的所有资产被没收，所有在内地运营的报纸被停刊，曾经在内地也妇孺皆知的万金油，至此销声匿迹几十年。胡文虎也不得不回到新加坡，几年后就因心脏病发去世，享年72岁。
让胡文虎得到“汉奸”帽子的缘由，是因为在1943年，胡文虎曾多次去上海会见南京汪伪国民政府主席汪精卫，还曾去日本拜会日本首相东条英机。
多年之后，尘封已久的《东条英机、胡文虎会谈要旨》被发现。胡文虎才得以“昭雪”。
胡文虎赴东京与东条英机会谈的目的在这个《要旨》中记录得很清楚：为了求得日本最高当局“特许”到缅甸等大米产区购运粮食，解救香港及华南地区的米荒。谈话中，胡文虎表示了对日本扶持的汪伪政权的不认同，至始至终他都不卑不亢。“汉奸”胡文虎终于得到了平反。
1984年，胡文虎的“汉奸”帽子被摘掉，随后，福建省政府将胡文虎在当地的房产归还其后人胡仙，广东省政府也将胡文虎生前在广东开设的广州永安堂和汕头永安堂房产归还其后人。
胡文虎临终时，留下了一份简单的遗嘱，将现金分别送给妻子陈金枝和女儿胡仙还有24名亲属，并指定陈金枝和胡仙为信托人，嘱托二人在办理完其身后事后，负责变卖所有动产和不动产，二人平分变卖所得。还特意嘱咐二人，要继续自己的慈善事业。
女儿胡仙继承了父志，带领着《星岛日报》等传媒企业，在80年代雄霸香港报业，成为享誉港岛的“报业女王”。但不幸的是，在1997年亚洲金融危机时期，星岛集团股价爆跌，胡仙个人负债达6亿港元，无奈之下，她只好变卖祖业，其中就有那座土味审美的虎豹别墅。一代“报业女王”就此陨落，胡文虎倾心打造的星报系从此一蹶不振。
而买下虎豹别墅的，正是新一代华人首富李嘉诚的长江实业。这真是“长江后浪推前浪，一代新人胜旧人”。
胡文虎虽然生前已经知晓“富不过三代”的缘由，并身体力行多行慈善之事，但未料到，他所创下的家业，还是在第二代衰败，这或许就是人生的魔幻之处吧。
