钱谦益被眼前的佳人打动，挽留柳如是在"半野堂"小住几日。柳如是闻言，会心一笑，欣然答应留在钱谦益家中。
就这样，一向死寂的"半野堂"重焕生机，里面时常传出一老一少这对忘年交的欢声笑语。钱谦益带着柳如是泛舟垂钓、游园赏景，不亦乐乎。这是钱谦益自遭罢免后，最安逸闲适的一段时光。为了感激柳如是的陪伴，钱谦益花费重金于红豆山庄修建了一栋独楼，邀请柳如是留在这里。钱谦益以柳如是之名，结合佛经中"如是我闻"一语，将独楼命名为"我闻室"。在独楼竣工那天，钱谦益还不忘在墙上题诗一首：
清樽细雨不知愁，鹤引遥空凤下楼；红烛恍如花月夜，绿窗还似木兰舟。
曲中杨柳齐舒眼，诗里芙蓉亦并头；今夕梅魂共谁语？任他疏影蘸寒流。
爱情往往是戏剧性的，谁能想到五十多岁的钱谦益竟枯木逢春，爱慕比他小几十岁的柳如是呢？
