有了钱以后，按照石崇的脾性，做官纯粹成了敷衍，应付差事，生活的重心全部放在了个人潇洒取乐上。
石崇花钱给自己建起了一座豪华气派的“别庐”，为了这个安乐窝，石崇很是费了些心思，不辞辛苦实地考察，最终选定河南县界的金谷涧中，后世名之曰“金谷园”。石崇自己用很得意的文字这样描写金谷园：“去城十里，或高或低，有清泉茂林，众果竹柏，药草之属。金田十顷，羊二百口，鸡猪鹅鸭之类，莫不皆备。又有水礁、鱼池、土窟，其为娱目欢心之物备矣。”城外十里，依山形水势高低错落筑园建馆；园中茂林修竹，葱翠松柏，药草铺地，清泉婉转流淌其间，鸡鸭羊鹅成群结队，又有湖中小岛、金玉满池、曲径通幽，所有赏心悦目的游玩设施，应有尽有。院内另建有一座百丈高的崇绮楼，登临可以“极目蓝天”，楼内用珍珠、玛瑙、琥珀、犀角、象牙装饰，珠光宝气堪与皇宫媲美。
在这个当时国内最豪华的私家园林别墅里，石崇除了自己寻欢作乐外，经常邀官场同僚、社会贤达和文坛才子们来此聚会，不分昼夜，宴饮游乐。石崇携众人一会儿泛舟湖中，一会儿品茗于凉亭，登高望一池春水，林间闻黄鹂鸣叫，或令丽人鼓瑟吹笙，或把酒观赏优伶曼舞，一副世外仙人的逍遥状。
财富就是头衔，就是招牌，石崇因此跟当朝的红人贾谧成为至交，美男子潘岳以及众多名流文士也都相继簇拥到他周围，渐渐形成了名噪一时的“金谷二十四友”。
“二十四友”是个属性比较复杂的民间组织，具备多重色彩。首先，从官场权力结盟的需要看，它是以皇后贾南风之侄贾谧为中心的一座官僚小山头。当时司马衷软弱无能，皇后贾南风骄横专权，贾谧以皇亲国戚身份在朝中飞扬跋扈，其又好笔墨文章，石崇、潘岳等人出于政治命运安全的考虑，选择他来作靠山，依附在这位当朝权贵的身边。既然拿贾谧当作保护伞，自然免不了要时常阿谀奉承讨好，几个文人把贾谧捧得很高，拿他与西汉大才子贾谊相提并论。贾谧很受用，也很乐于这样包装自己，既是皇权新宠，又是文人雅士的领袖，这一身行头，更有助于他伙同他的姨母贾南风操控司马氏政权。
其次，站在文学史的角度看，“二十四友”又是一个趣味相投的文人创作交流沙龙。除石崇、潘岳外，“二十四友”中，西晋文学的代表性人物陆机、左思等都大名在列。这个文学沙龙不像前一个属性是以权势排位，而是以石崇为核心，石崇为之提供经费赞助、活动场所，同时扮演总召集人的角色。这些人不定期地以诗文聚会，吟诗作赋，相互唱和，号称“金谷雅集”，在当时大有独领文坛风骚的意味，也成为后世谈及西晋文学创作的一个重要话题。石崇后来用心把金谷园中各位的诗作编辑成册，并亲自撰写《金谷诗序》。石崇无心插柳，他所首创的“笔会式”的文人名士集体创作之举，对后世产生了极大的影响，东晋王羲之等人后来仿效“二十四友”的“金谷雅集”搞了一个“兰亭雅集”，又比照石崇的《金谷诗序》写了一篇《兰亭集序》，王羲之甚至以自己能与石崇匹敌而深感自豪。“金谷二十四友”带有“竹林七贤”的遗风，只是从个人的气质风度上讲，他们没有“七贤”那么孤傲任诞、遗落世事，当然也就难以企及“七贤”笑看功名、超凡脱俗的精神境界。
第三，某种程度上这又是一帮“贵游豪戚及浮竞之徒”组成的富人俱乐部。我们不妨看看这二十四人的出身和社会背景，其中晋王朝的贵戚有五个人，功臣及名门望族子弟六人，时尚名士五人，贾谧和石崇的哥们四人，石崇自然是三者皆备了，既可忝列文人，又是功臣之后，还是国内首富。石崇之所以有号召力，正是源于他的大富豪身份，辉煌豪奢的金谷园以及满园艳丽妩媚的花样女子，吸引了那些来此相聚的风流人物。所谓“雅集”，在很大程度上不过是他们的自我标榜，实则在金谷园中，这些高官显贵、风流才子更痴迷于声色犬马，日日欢饮，夜夜笙歌，其中少不了男女间的********。拿他们的诗赋与“建安七子”和“竹林七贤”一对照，除了相互吹捧，余者大多是靡丽伤情之作，完全局限在个人情色体验和感官享受上，明显是一种低级趣味的文字游戏。
但不管怎么说，石崇哪怕是出于天性旷达的无意，以他为首的二十四人及其“金谷雅集”，给中国文坛还是留下了一段别开生面的佳话，风景这边独好。