在人工智能领域,一场关于GPT-5的风暴正在酝酿。近日,外媒The Information披露了一系列关于GPT-5诞生背后的曲折故事,让人们对这款备受期待的语言模型有了更深入的了解。
据报道,GPT-5的诞生之路并非一帆风顺。在项目推进的过程中,OpenAI遭遇了人才流失的困境,不少核心研究者被meta(脸书母公司)以高薪挖走,导致团队内部组织架构一度陷入混乱。技术难题也成为制约GPT-5发展的瓶颈,尤其是数据瓶颈和推理模型的不稳定性,让研究者们苦恼不已。
然而,就在这样的困境中,OpenAI却传来了好消息。近日,该公司成功筹集了83亿美元资金,估值直接飙升至3000亿美元。这笔巨额融资无疑为GPT-5的研发注入了强大的动力。参与此轮融资的投资者包括Dragoneer投资集团、Blackstone、TPG、Fidelity、Founders Fund和红杉资本等。
尽管融资成功,但GPT-5的研发之路依然充满挑战。据知情人士透露,GPT-5并未取得像GPT-3到GPT-4那样的技术突破,其性能提升并不显著。实际上,原本被寄予厚望的Orion模型,在经历了一系列测试后,因其性能未能达到预期,最终被降级为GPT-4.5,并于今年2月默默上线,随后便迅速淡出了公众视野。
Orion模型的失败,让OpenAI团队深刻意识到,他们已经触碰到了预训练阶段的天花板。高质量网络数据的日益枯竭,以及大模型训练中的技巧失效,都是导致这一结果的重要原因。这不仅导致了GPT-5的延期,也让团队内部陷入了自我怀疑的氛围中。
然而,OpenAI并未放弃。他们开始寻找新的突破口,而“推理模型”成为了他们的新希望。基于一项名为Q*的技术突破,OpenAI开发了一系列推理模型,这些模型在获得更多算力时,能够表现出更佳的性能。这似乎预示着,预训练的性能增长瓶颈即将被克服。
然而,推理模型的发展也并非一帆风顺。当OpenAI将Q*技术的教师模型转换为学生模型,并推出聊天版本时,其性能却显著下降。同样的问题也出现在创建让企业通过API购买的版本时。这主要是因为推理模型理解概念的方式与人类交流方式大相径庭,导致其在聊天场景中智能水平下降。
尽管遭遇重重困难,但OpenAI并未放弃对GPT-5的追求。他们正在开发一种“通用验证器”,以自动化地确保模型在强化学习过程中产生高质量的答案。这一技术有望为GPT-5的性能提升提供有力支持。
与此同时,OpenAI的高管们对GPT-5及未来模型的发展充满信心。他们相信,沿着目前的架构,模型有朝一日能够达到GPT-8的水平。CEO奥特曼也表示,利用现有技术,OpenAI有望创造出通用人工智能(AGI)。
随着GPT-5发布日期的临近,各种泄露和爆料也开始满天飞。尽管这些消息的真实性有待验证,但它们无疑增加了人们对GPT-5的期待值。在这场人工智能的盛宴中,每个人都屏息以待,期待着GPT-5能够带来前所未有的惊喜。