严世蕃每次的都能解决朝堂上的疑难杂症，且能引经据典，跟他拥有博闻强记，过目不忘的本领有关。明世宗喜欢读经史诸书，每次遇到不懂的地方，就写在纸上，让太监交给内阁讲解。
有天，这样类似的旨意又到了，但是严嵩与徐阶等值班阁臣皆不懂其义，惶恐不安。严嵩立刻飞马传书严世蕃。严世蕃当即指出其在某书第几卷第几页，又作何解释。严嵩等人找来检验，果真如此。
精力旺盛方面。
严嵩再任内阁首辅时，已经年近七旬，精力匮乏，因此政务多依靠严世蕃。每有政务，严嵩总是说"待我与东楼小儿计议后再定"，因此严嵩当权期间，京城内外流传着"大丞相、小丞相"的说法。
