而潘安另外一个让人称道的地方，则是对爱情的忠贞不二，他和妻子杨氏，在12岁的时候就订婚，相爱终身，然而妻子年轻时候就去世，潘安为此悲痛不已，亲自写下悼亡词，寄托自己的哀思，从此终身不娶，成为千古佳话，这也是"潘杨之好"的由来。
潘安成年之后，在仕途上的生活可谓是起起落落，他最初投奔当朝权臣贾充，后来担任京官，因为潘安写下了篇文章被认为有讽刺朝政的嫌疑，导致他被朝廷左迁到河阳担任县令，因此中年的潘安是郁郁不得志的，时常为自己前程而感到发愁。
32的岁潘安，正值壮年，头上就已经被多了几缕白发，在秋天写下《秋兴赋》表明自己的志向，而在后来，唐朝诗人李德裕又借用潘安的例子，写下了《日登郡楼望赞皇山感而成咏》，用""越吟因病感，潘鬓入秋悲。"抒发自己怀才不遇的心境，"白发悲秋"这个成语，也就随之诞生了。
