一旦有了什么风声，家族一定会有危险的，于是羊祜只好做出了很多人可能认为不孝顺的事情，他要挖了自己祖坟。这位高人赶紧告诉他说不可以，这建造设计已经是算得非常精准的，若是稍微动一动就会有很大的变故，只怕是就此绝后了呢。
可羊祜还是执意动手了，即便如此，高人还是继续说，这一代的福源并不会因此就终止了，以后哪怕是折断手臂，也要位列三公。谁会想到这说法还真的应验了，后来有一次骑马的时候，他不小心摔了下来，从此就折断了手臂，不过做官这件事却完全不受影响，一直到了先生说的位置，更巧合的是，他还真的没有子嗣。
羊祜之所以这样担忧，哪怕是天下人都不能理解，他还要做动自己祖坟，坏自己风水的事情，就是因为他的家族实在是门第太高了。史书上有一个非常有名的故事，常常被后人用来自省，或者皇帝用来教育官员，就是关于他的祖父，当时老太爷出任一个地方的太守，当地有钱人家就爱炫富，这种风气已经流行了很久，可是羊老太爷就是看不惯。
他到任了之后，按照之前的规矩，当地有人去拜访他，还带着几条鲜活的鱼来。老太爷推脱不掉，只好收下了。不过他并没有安排人做菜，而是命人将鱼挂起来。后来这人再来送东西，老太爷就指指头顶上的鱼，这样来提醒来人不要再做行贿之事了。老太爷一生节俭，在外地做官的时候妻子带着儿子来投奔，他却不开门。
