直到今天，周围的人还想不明白，“你年纪都这么大了，不颐养天年，折腾这个干啥?”甚至有人在私下里嘲笑肖永生傻，政府不出资，自己又拉不来赞助，这种情况下，你一个普通居民去建造贝壳楼，拿出自己的全部家当，“这人是不是傻?”
其实，肖永生一点都不傻。“岛上没有学校，孩子长大了肯定要去外面上学的，我就是想建个贝壳楼，让那些出去了的孩子，再回来看看，看看灵山岛有什么不一样的地方。”说干就干，肖永生开始构思。“你看灵山岛，没有淡水，没有高楼，贝壳倒是多得很，就地取材，不如建设‘贝壳楼’。”
想要自己独立建设这样一个贝壳楼，对于50多岁的肖永生来说并不容易。建造贝壳楼，最难的，肯定是收集贝壳。为了收集到大小不一，品种不一的贝壳，他有30年时间里，每天清晨和傍晚都会在海边捡贝壳，贝壳屋外墙上的大部分贝壳，都是他自己从海边捡回来的。
还有一些镶嵌在屋顶的大贝壳，是他高价从国外购买的，比如上图中的大贝壳，是他以前买来放酒的，后来镶嵌在了屋顶上。