父亲的坚持，潘鑑只得默认了。
1505年，明弘治十八年，潘鑑登进士榜，和他同一年考中进士的，有他的堂哥潘旦，还有那位臭名昭著的大奸臣严嵩。
刚刚考上公务员的潘鑑，被分配到了明朝的最高法院--南京大理寺做了评事一个七品小官。看到新来的这位年轻有为的帅小伙潘鑑，很多同僚纷纷为他说媒提亲，都被潘鑑婉拒了：我家里已经有老婆啦。
由于潘鑑的聪颖和努力，潘鑑担任了尚书，夫人吕音玉由于身体高大体质好，襁褓中的儿子乳汁喝不完，为皇子做奶妈。内弟从婺源沣溪赶来看望姐姐姐夫，潘鑑的同事们都送来礼金，内弟收到这么多的礼金，心里打着小九九，谋划着小家庭日后的小康生活。清廉的潘鑑对内弟嘱咐：这些钱不要乱用，回家后做公益事业，把家乡打造成"秀美新村"。
