低成本高效能!斯坦福团队打造媲美OpenAI推理模型s1
创始人
2025-02-06 11:41:17
0

近期,人工智能领域迎来了一项引人注目的新突破。据一份最新发布的研究报告显示,斯坦福大学与华盛顿大学的科研团队,仅凭不到50美元的云计算成本(当前汇率下约364元人民币),就成功打造了一款具备卓越“推理”能力的人工智能模型——s1。

这款s1模型在数学与编程能力测试中,展现出了与OpenAI的o1、DeepSeek的r1等业界顶尖推理模型相媲美的水平。更令人瞩目的是,s1模型及其训练数据和代码已在GitHub平台上全面开源,供全球开发者研究和使用。

s1团队揭秘,他们采用了“蒸馏”技术来创建这款模型。该技术通过训练模型来学习另一个AI模型的答案,从而提炼出其核心推理能力。据悉,s1模型是从谷歌的Gemini 2.0 Flash Thinking Experimental模型中蒸馏而来。而就在上个月,加州大学伯克利分校的研究人员也运用相同的蒸馏方法,以约450美元的成本开发了一款AI推理模型。

随着s1等类似模型的出现,人工智能领域的商品化问题日益凸显。当有人能够以极低的成本复制出价值数百万美元的模型时,大型科技公司的竞争优势何在?这一问题引发了业界的广泛关注和讨论。

面对这一挑战,大型AI实验室纷纷表达不满。例如,OpenAI就曾指责DeepSeek不当获取其API数据用于模型蒸馏。而s1团队则致力于探索实现强大推理性能和“测试时扩展”的最简洁途径,这些正是OpenAI的o1模型所取得的突破。

s1的论文指出,通过监督微调(SFT)方法,可以使用较小的数据集来蒸馏推理模型。在SFT过程中,AI模型被明确指示在数据集中模仿特定行为。相较于DeepSeek用于训练R1模型的大规模强化学习方法,SFT更具成本效益。

值得注意的是,谷歌通过其Google AI Studio平台免费提供Gemini 2.0 Flash Thinking Experimental模型的访问权限,但设有每日使用限制。然而,其使用条款明确禁止对模型进行逆向工程,以开发与谷歌自身AI产品竞争的服务。尽管如此,s1团队还是巧妙地利用了这一资源。

s1模型基于阿里巴巴旗下中国人工智能实验室Qwen提供的一款小型、现成的免费AI模型。为了训练s1,研究人员精心策划了一个包含1000个问题及其答案的数据集,并收集了谷歌Gemini 2.0 Flash Thinking Experimental对每个答案背后“思考”过程的输出。

在训练过程中,研究人员使用了16个Nvidia H100 GPU,耗时不到30分钟,便成功训练出了s1模型。据参与该项目的斯坦福大学研究员Niklas Muennighoff透露,目前租用这些计算资源的成本约为20美元。这一低廉的成本再次凸显了s1模型的性价比优势。

为了进一步提升s1的性能,研究人员还采用了一个巧妙的技巧:让s1在推理过程中“等待”。论文显示,在s1的推理步骤中添加“等待”一词,有助于模型获得更为准确的答案。这一发现为AI模型的优化提供了新的思路。

来源:http://www.cnu.com.cn/smartcar/202502/49211.html

相关内容

热门资讯

长期以来!新祥心有挂吗,凑一桌... 长期以来!新祥心有挂吗,凑一桌游戏软件下载辅助(一直真的是有软件)-哔哩哔哩1、超多福利:超高返利,...
网友热议!功夫川小程序辅助,龙... 网友热议!功夫川小程序辅助,龙岩闲游安卓脚本(一直是真的app)-哔哩哔哩1、很好的工具软件,可以解...
截至目前!ios破解游戏盒子,... 截至目前!ios破解游戏盒子,朋友局辅助器(真是存在有工具)-哔哩哔哩1、每一步都需要思考,不同水平...
昨日!老友广东辅助工具下载地址... 昨日!老友广东辅助工具下载地址,微乐家乡自建房辅助app(好像是真的工具)-哔哩哔哩1、老友广东辅助...
经调查!四川血战到底攻略,来几... 经调查!四川血战到底攻略,来几局是正规平台吗(好像是有插件)-哔哩哔哩1、来几局是正规平台吗模拟器是...
此事引发网友热议!烧饼游戏修改... 您好,邯郸胡乐修改器视频这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302】很多...
针对!透视辅助工具,牛总管辅助... 针对!透视辅助工具,牛总管辅助神器(好像真的是有平台)-哔哩哔哩1、牛总管辅助神器免费辅助多个强度级...
有玩家发现!碰胡碰胡滚筒有脚本... 有玩家发现!碰胡碰胡滚筒有脚本吗,哥哥打大a有辅助吗(本来真的是有插件)-哔哩哔哩运碰胡碰胡滚筒有脚...
相较于以往!新道游辅助器免费下... 相较于以往!新道游辅助器免费下载,乐酷大厅怎么安装(真是有挂器)-哔哩哔哩所有人都在同一条线上,像星...
记者获悉!边锋老友杰克辅助,家... 记者获悉!边锋老友杰克辅助,家乡大二有没有挂(确实是有软件)-哔哩哔哩1、家乡大二有没有挂免费辅助多...