就是说潘安有好的容貌和气质，年轻的时候他驾车出行，连老妇人都为之着迷，还往他车里仍水果，导致车都堆满了。虽然不乏有夸张的成分在，但却能很好体现出潘安的容貌，以及女子对他的追捧。所以后来称赞一个男子的美貌，都会用"貌似潘安"来形容。
潘安从小以才智闻名乡里，乡亲都称他为"奇童"。小时候跟随父亲四处游历，后来就读于洛阳太学，二十岁左右就走上了仕途。潘安刚刚走上仕途的时候，并不受重用，他也因此有些郁闷，后来他在怀县做县令，结果做得很出色，便被提拔到京城做官。
可惜没多久，潘安就因犯事被免职，当时的太傅杨骏欣赏其才华，就将他收入门下做主簿。只能说潘安的运气实在太差，当了主簿没多久，杨骏就被人所害，导致夷三族，潘安也受到牵连。
幸好之前做官的时候，结交了很多朋友，有的人想办法为他求情，这才逃过一劫。之后他又做了长安的县令，可因为母亲生病，他不得不辞官回家侍奉。这时候他认识了贾谧等人，这一帮文士被世人称为"鲁公二十四友"，后来因常常聚会于石崇的金谷园中，从而又被称为"金谷二十四友"。
