不过官做得好并不代表就万事顺风了，在一次秦大士和一群文人在杭州游玩的时候，就有人不知道是出于嫉妒还是故意刁难，在众人游览到岳飞墓时，看着岳飞墓前反绑双手的秦桧夫妇不由得发笑，说状元郎也姓秦，是秦桧的后人呢。
当时正好大家都在作诗抒发兴致，秦大士无奈苦笑，张口吟来一句对联：“人从宋后羞名桧；我到坟前愧姓秦”。
众人听了之后都不由感叹果然还是状元郎厉害，不仅心胸开阔，还善于措辞，这两句话避免了被取笑的尴尬，也表明了秦大士为人豁达的一面。
不过虽然古代有同姓本一家的说法，但真的追踪起来，秦大士其实是宋朝一位清官秦梓的后代，和秦桧大概也真的只有都姓“秦”这一共同点了。再说了，就算是实实在在的秦桧后人，秦桧的曾孙秦钜也是为了保卫国家而战死沙场。祖宗的罪名不该累及后代啊！
