解放后，山庄被收归国有。之后，树人书屋更名为谢鲁山庄。
吕芋农其人，故事很多。
大部分人都想不到，身为一个国民党少将，吕芋农五短身材，大约只有1.57米，体重约80多斤。并且他还是个文人，只是不怎么成功。他尝试过科考，无奈怎么也考不上，于是他向政府捐了一笔钱，取得了附贡生的身份。
虽然是花钱买的功名，但吕芋农的文字功底毕竟还是有一些的。这一点，从谢鲁山庄的一些设计、对联就能看出来。尤其他还喜欢自创文字，山庄内树人书屋的树字，就是他自创的。
除了文人，吕芋农还是个武士，尽管没有统率过正规军队，但他曾经统领民团维护一方治安，后来还得到了少将头衔。
可能有人会奇怪，区区一个地方的附贡生，怎么会有如此财力兴建一个山庄?
实际上，早在百色统辖着广西最大的烟土通道时，吕芋农一次就受贿得了二十万大洋，所以他开始兴建山庄时是财力雄厚的。
据传，谢鲁山庄是吕芋农根据《螂嫘记》与《红楼梦》中所述，仿造苏州园林，依着本地的山形来布局，按照地势高低构造，从低到高、迭迭而上，深蕴人生哲理。当你漫步其中，恍惚间就像身处苏式园林内。