頂頭上司很生氣，你一個小屁孩拍馬屁拍得這麼好，讓我們其他人怎麼辦？還給不給人活路了？生氣之餘，將潘安貶去河陽做縣令。
倒楣的潘安不僅沒有等來上頭的嘉獎，反而被貶到偏遠郊區當了縣令，實在令人鬱悶。這時候他剛過二十歲，還不太懂官場上才不外露、韜光養晦的道理。
美男子潘安到了河陽，依然是當地一道靚麗的風景。他當縣令的時候，覺得河陽水土宜人，非常適合種桃花，於是號召全縣人民一起種桃花。
普通老百姓們能吃飽飯就不錯了，哪有閒心思去種桃花？但潘安長得帥，他說起話來大家愛聽，於是人們紛紛在家門口種起了桃花，一時間，河陽縣成了當地著名的旅遊風景區。
在潘安之前，花都是用來形容漂亮女孩子的，由於潘安種桃花種出了大動靜，人送外號「河陽一縣花」、「花縣」，潘安從此成為花樣美男的代名詞。
明明可以靠臉吃飯的潘安，偏偏還有些小才華，老天爺就是這麼的不公平。
潘安文章寫得很好，《晉書》中說潘安「少以才穎見稱，鄉邑號為奇童」，「總角辨惠，文藻清豔」。潘安的才學，雖然比不上嵇康、阮籍他們，但好歹也是當時數一數沾親帶故的，通通升官發財，賈南風的外甥賈謐更成為朝中的實權人物。
賈謐為人瀟灑風流，喜歡舞文弄墨，結識了當時一大幫文人騷客，其中跟他關係最好的，就是大富豪石崇。
朋友的朋友，自然也是朋友。在石崇的引薦之下，潘安很快抱上了賈謐的大腿。賈謐一瞧，哎喲，這小夥子不錯，長得帥又有才華，給他升個官做做！於是潘安重回洛陽，由一個偏遠地方的小縣官變成皇帝面前的紅人，走上了人生巔峰。
有金錢權力的地方，就會聚集人脈，這一道理從古到今，屢試不爽。石崇與賈謐兩人周圍很快團結起了一大幫名士，時人稱為「金谷二十四友」。比起竹林七賢，潘安這幫玩在一起的朋友，竟然有二十四人之多！
跟竹林七賢的隨興不同，這二十四友是個嚴格規定人數的文人小團體，代表了當時先進炫富方式的發展方向，代表著當時文學的最高水準，一般人壓根就擠不進這個圈子。二十四友中，有我們非常熟悉的左思，還有陸機、陸雲、劉琨等著名的大文豪，隨便拿出來一個人都能撐足場面。
在這樣的環境裡，文藝男青年潘安簡直混得是如魚得水，日子過得不要太開心。朋友有了，豪宅金谷園也修建得漂漂亮亮，石崇跟賈謐兩人一合計，不如我們開個party 吧！
西元二九六年，金谷園召開了一次規模極大、人數眾多的高級文學聚會。征西大將軍的祭酒王詡從洛陽返回長安，石崇知道了，便邀了一大幫朋友來給他送行。這次送行聚會，足足邀請了三十人，由於盛況空前，被載入史冊，成為後人爭相膜拜的對象。後來王羲之搞蘭亭集會，就是受了這次雅集的啟發。
