公元296年，潘安再次被调回了京城做官，此时的他已经不是那个过去风度翩翩的恶少年，而是49岁风尘仆仆的中年人，潘安总结过去的教训认为，要想在官场混得如意，必须要依托于其他人的庇护，为此他加入了太傅杨骏的门下担任太傅主簿。
然而潘安的靠山杨骏很快就倒台了，而潘安作为幕僚，原本也是属于被罢官的行列，但是因为当权者楚王心腹，他的好友公孙弘为自己说话，从而没有受到牵连，潘安继续转投奔与贾充的外孙贾谧。
潘安为了获得权势，愈发的谦卑阿谀起来，《晋书潘岳传》记载，潘安"性轻躁，趋世利，与石崇等谄事贾谧，每候其出，与崇辄望尘而拜。"也就是说，潘安趋炎附势于贾谧，为了表达自己的尊敬，他每次等到贾谧车架出门，看到飞起的尘土便匆匆的下拜，后来世人也多用"望尘而拜"来讽刺那些阿谀之人。潘安则凭借贾谧做到了黄门侍郎的位置。欠出去的东西是早晚要还的，八王之乱后，赵王司马伦夺权成功，潘安因为从事贾谧，得罪过司马伦的亲信孙秀。
因此孙秀趁机诬陷潘安造反，最终使得他和石崇等人被诛灭了三族，包括了他70多岁的母亲，一代名士，落得身首异处的下场，也是让人感到叹息。
