虽说翰林院不比其他实权的职位，但也是仕途之路上的镀金石。故而，此时秦大士的仕途必定会是一帆风顺。不过，对于秦大士而言，似乎志不在此。在其为国效力10多年后，在乾隆28年，便告老还乡，颐养天年。事实上，关于秦大士与乾隆之间，还有一则故事。众所周知，古代科举，对个人审查非常严格。
据《清朝野史大观》记载，在秦大士及第以后，乾隆在翻阅秦大士的生平时，对其身世出生颇有疑问。熟读历史书籍的乾隆，曾向秦大士问道："你真是秦桧后人？"对于秦大士而言，乾隆询问祖先之举，似乎在意料之中，但也在意料之外，随即回应道："一朝天子一朝臣"。话语未落，乾隆："加官进爵！"
