2月4日凌晨,三方基准测试平台Chatbot Arena公布了最新的大模型盲测榜单,一周前刚发布的Qwen2.5-Max超越DeepSeek V3、o1-mini和Claude-3.5-Sonnet等模型,以1332分位列全球第七名,也是非推理类的中国大模型冠军。同时,Qwen2.5-Max在数学和编程等单项能力上排名第一,在硬提示(Hard prompts)方面排名第二。
截图自https://lmarena.ai/?leaderboard
据了解,Chatbot Arena是由LMSYS Org推出的大模型性能测试平台,目前集成了190多种模型。该榜单采用匿名方式将大模型两两组队,交给用户进行盲测,用户根据真实对话体验对模型能力进行投票。因此,Chatbot Arena LLM Leaderboard成为业界公认的最公正、最权威榜单之一,也是全球顶级大模型的最重要竞技场。
ChatBot Arena官方评价称:阿里巴巴的Qwen2.5-Max在多个领域表现强劲,特别是专业技术向的(编程、数学、硬提示等)。
Qwen2.5-Max是阿里云通义团队约一周前发布的最新MoE模型,展现出极强劲的性能。在Arena-Hard、LiveBench、LiveCodeBench、GPQA-Diamond及MMLU-Pro等主流基准测试中,Qwen2.5-Max比肩Claude-3.5-Sonnet,并几乎全面超越了GPT-4o、DeepSeek-V3及Llama-3.1-405B。
Qwen2.5-Max发布后,立刻在海内外大模型社区引发热议:ChatBot Arena官方发推文称,以Qwen2.5-Max为代表的中国大模型正在迎头赶上;有从业者在惊叹新模型强大性能的同时,也兴奋地表示:“我们可以告别ChatGPT了!”
目前,企业可在阿里云百炼调用Qwen2.5-Max模型的API服务,开发者也可在Qwen Chat平台中免费体验最新模型。
(完)