近期，腾讯混元推出新一代旗舰大模型——混元Turbo。

作为国内率先采用MoE结构大模型的公司，腾讯继续在这一技术路线上进行技术创新。

相较上一代混元Pro的同构MoE大模型结构，混元Turbo采用了全新的分层异构MoE结构，在参数总规模上依然保持万亿级。

公开信息显示，当前混元Turbo模型在业界公认的benchmark指标上处于国内行业领先地位，与国外头部模型如GPT-4o等相比也处于第一梯队。

另外，在刚刚发布的国内第三方权威评测机构评测中，混元Turbo模型位列国内第一。

混元Turbo是如何做到如此快速的进步?

背后技术细节首公开

我们拿到了混元Turbo的技术解读，从Pretrain、Postrain和专项能力突破几个角度，深入展示了模型升级的秘密。

首先，业界目前普遍公认，大模型Pretrain成功的关键秘诀之一是Scaling Law。

可以简单理解为，训练数据量越大，模型效果越好;参数量越大，模型效果越好。

其中后者意味着，如果想要模型具备更高的效果天花板，就需要设计较高参数量的大模型，但大参数量设计也意味着较高的部署成本和较低的训练推理性能。

为此，混元Turbo采用了全新的异构MoE结构。

通过较多的专家数和较小激活量设计，在模型整体参数量依然保持万亿级规模前提下，通过整体算法升级和训练推理框架加速的端对端优化，模型效果相比上代混元Pro有较大提升。

与此同时，模型训练推理效率也有超1倍的提升，并最终带来了50%的推理部署成本下降，以及20%推理时延降低。

其次，在Postrain阶段，腾讯混元Turbo自研了混元CriticModel和RewardModel，用于构建自提升pipeline，并在RLHF阶段全面采用了离线数据和在线采样结合的强化学习策略。

相对传统PPO及DPO，其整体可控性更好，效果上限更高。

除了在通用能力方面持续优化外，针对当前业界大模型普遍存在的文科能力「重而不强」，理科能力普遍偏弱的现状，本次混元Turbo大模型也专项强化了高质量文本创作、数学、逻辑推理等典型大模型文理科能力。

文本创作、数学、逻辑推理能力全面提升

1. 专项能力-高质量文本创作

当前大模型普遍存在的一般文本创作尚可，但专业化写作机器味浓、不够信雅达，字数控制等指令跟随能力不足等问题。

腾讯混元Turbo模型做了大量高质量文本创作专项优化。

以中、高考中文写作为例，腾讯混元团队引入专家标注团队，构建高质量写作评估模型，同时，构建创作指令约束体系，提升复杂指令跟随能力。

通过以上优化，高考作文写作这一项能力上，混元Turbo在专家标注团队中自评达一类卷水平，在刚刚过去的24年高考中，混元Turbo获得第三方大模型高考作文写作评测第一名。

2. 专项能力-数学

如何大幅提升模型的数学能力是一项非常有挑战性的任务。腾讯混元采用了以下几种技术方案来提升模型效果。

• 提升数据量:针对已有题库模拟大量数学题用于模型的增训。对于一些比较难的题目，也会采用MCTS等技术来提高模型的做题能力。

• 强化学习:为了进一步提升模型能力，采用了强化学习技术，包括DPO/PPO等技术。训练了一个基于过程的reward模型对结果进行打分。

最终，混元Turbo在数学推理能力上有了较大提升，在内外部多种评测集上达到了业界先进水平。

3. 专项能力-逻辑推理

推理的第一大难点在于推理问题的多样性，往往用户的问题千奇百怪，要在PostTrain阶段比较好的解决这个难点，必须要提升SFT数据中推理问题的广度和质量。

预训练中的推理问题非常丰富，但是结构化不足，往往一个比较好的问题隐藏在某一个文档的最后。

为了解决这个问题，腾讯基于腾讯混元训练了一个问题抽取模型（Problem Extraction Model），抽取出千万级量级的推理类指令。

另外，通过公开渠道获取全网偏推理的问题，大幅补充了SFT数据中推理问题的多样性。

推理能力的第二个难点是，复杂问题的答案如何构建。

对此，腾讯训练一个critique模型对推理类训练数据进行打分，然后迭代更新答案，直到构建推理过程和结论完全正确的训练。

最终，推理数据质量得分提升10%。

经过上述优化，混元Turbo较以往的版本在内部推理评测中总体提升9%，在一些较为难的子类上例如因果、符号推理等上都取得了明显进步。