MiniMax发长文回应“模型无法说出马嘉祺”
创始人
2026-06-23 03:32:24
0次
5月9日消息，MiniMax官微发长文回应M2系列模型无法说出马嘉祺一事，提供了对“嘉祺识别”问题的完整排查过程和技术思考。
MiniMax表示，其从分词器版本对齐、embedding统计分布、语义近邻检索、预训练与后训练模型的few-shot对比实验、后训练数据频次统计以及对全词表lm_head变化幅度的排序扫描等多个维度进行了排查。最终定位到的原因是：“嘉祺”在分词器中被合并为一个独立token，但该token在后训练数据中出现频次极低，导致模型在后训练中逐渐遗忘了对该token的生成能力。
修复方案方面，MiniMax构造了一份覆盖全词表的合成数据，核心思想是：通过一个简单的复读任务，为全词表建立一个生成频率的“下限保障”，防止任何token因为完全缺失而退化。此外，MiniMax表示，将token覆盖度作为后训练数据质量的一项常规监控指标，可以在早期发现潜在的稀疏token退化风险，避免类似问题在线上复现。（广角观察）
相关内容
热门资讯
26年最新开挂版!风风棋牌辅助...
26年最新开挂版!风风棋牌辅助透视挂，婺婺确实有外挂，切实有挂方法1、风风棋牌免费脚本咨询教程、风风...
26年最新开挂版!新琉璃辅助透...
26年最新开挂版!新琉璃辅助透视挂，大圣真的有外挂，一贯有挂讲解1、进入到新琉璃是否有挂之后，能看到...
26年最新开挂版!乐通2.91...
26年最新开挂版!乐通2.911辅助透视挂，欢乐真人麻将确实有外挂，切实今日头条1、每一步都需要思考...
26年最新开挂版!云游辅助透视...
26年最新开挂版!云游辅助透视挂，打哈儿麻将真的是有外挂，真是有挂教程打哈儿麻将破解侠是真的助透视。...
26年最新开挂版!老友记辅助透...
26年最新开挂版!老友记辅助透视挂，天天麻将汉中是有外挂，一直新版有挂天天麻将透视方法中分为三种模型...
26年最新开挂版!鄱阳翻精辅助...
26年最新开挂版!鄱阳翻精辅助透视挂，禾沐存在有外挂，本来有挂头条1、玩家可以在鄱阳翻精线上大神俱乐...
26年最新开挂版!同城游五十k...
26年最新开挂版!同城游五十k辅助透视挂，广东棋牌真的有外挂，切实新版有挂1）同城游五十k免费钻石：...
26年最新开挂版!多乐保皇辅助...
26年最新开挂版!多乐保皇辅助透视挂，开心麻将确实有外挂，真是有挂技巧1、起透看视 多乐保皇辅助软件...
26年最新开挂版!友友邳州麻将...
26年最新开挂版!友友邳州麻将辅助透视挂，洋洋挖花是真的有外挂，原来有挂实锤1）友友邳州麻将辅助插件...
26年最新开挂版!猴王辅助透视...
26年最新开挂版!猴王辅助透视挂，推大石真的有外挂，原来存在有挂一、推大石游戏安装教程牌型概率发牌机...