MiniMax发长文回应“模型无法说出马嘉祺”
创始人
2026-06-23 03:32:24
0次
5月9日消息，MiniMax官微发长文回应M2系列模型无法说出马嘉祺一事，提供了对“嘉祺识别”问题的完整排查过程和技术思考。
MiniMax表示，其从分词器版本对齐、embedding统计分布、语义近邻检索、预训练与后训练模型的few-shot对比实验、后训练数据频次统计以及对全词表lm_head变化幅度的排序扫描等多个维度进行了排查。最终定位到的原因是：“嘉祺”在分词器中被合并为一个独立token，但该token在后训练数据中出现频次极低，导致模型在后训练中逐渐遗忘了对该token的生成能力。
修复方案方面，MiniMax构造了一份覆盖全词表的合成数据，核心思想是：通过一个简单的复读任务，为全词表建立一个生成频率的“下限保障”，防止任何token因为完全缺失而退化。此外，MiniMax表示，将token覆盖度作为后训练数据质量的一项常规监控指标，可以在早期发现潜在的稀疏token退化风险，避免类似问题在线上复现。（广角观察）
相关内容
热门资讯
华为最新四个型号智能电视机“便...
IT之家 6 月 22 日消息，国家广播电视总局今日宣布，国家广播电视总局广播电视规划院为华为最新研...
“债王”最新警告：美联储年内降...
5月9日消息，在全球股票市场火热上涨之际，“债券之王”却对那些投身风险资产交易的投资者发出警告。本周...
淮南市召开三级医疗机构医疗器械...
淮南市召开三级医疗机构医疗器械不良事件监测工作推进会暨超声手术刀系统使用安全专家研讨会 淮南市召开三...
伊朗官员：全国油田生产持续 暂...
5月9日消息，当地时间9日，伊朗议会能源委员会主席表示，目前全国各地多个油田的生产持续不断进行。敌方...
AI应用层的定价权，正在从开发...
文 | wiwi 过去两年，AI 创业最诱人的叙事，是“一个人也能做出一家 AI 公司”。 一个开...
王文涛与德国联邦经济和能源部部...
5月9日消息，5月8日，商务部部长王文涛与德国联邦经济和能源部部长赖歇举行视频会谈。双方就中德和中欧...
青藏高原生物种质资源库开放数据...
5月9日消息，从中国科学院西北高原生物研究所获悉，全球独有高寒高海拔专业化种质平台——青藏高原生物种...
美一客机起飞过程中撞到行人
5月9日消息，据美国媒体今天（5月9日）报道，美国边疆航空公司一架客机在丹佛国际机场起飞的过程中撞到...
国常会：审议通过《中华人民共和...
5月9日消息，李强主持召开国务院常务会议。会议审议通过《中华人民共和国矿产资源法实施条例(草案)》。...
福斯特霍费尔·阿格奈什当选匈牙...
5月9日消息，匈牙利新一届国会9日宣告成立，匈牙利蒂萨党副主席福斯特霍费尔·阿格奈什当选国会主席。 ...