美团开源满血DeepSeek量化版？造福老显卡
创始人
2025-03-09 16:00:38
0次
2025-03-08 18:50:19 作者：八月八
美团技术团队近日宣布，对DeepSeek R1模型进行了INT8精度量化，使得该模型能够在老型号GPU如A100上进行部署。原生的DeepSeek R1模型权重采用FP8数据格式，这限制了其只能在英伟达的新型GPU上部署，而其他型号的GPU则无法直接支持。
为了解决这个问题，美团搜索和推荐平台部门尝试了对DeepSeek R1模型进行INT8精度量化。结果显示，量化后的模型精度基本保持不变。通过INT8量化，DeepSeek R1突破了芯片限制，现在可以部署在A100等GPU上。此外，与BF16相比，INT8量化还实现了50%的吞吐量提升，从而降低了推理成本。
现在，INT8量化代码已经发布在开源LLM推理框架SGLang上，量化模型也已发布至Hugging Face社区，以下是模型链接：
https://huggingface.co/meituan/DeepSeek-R1-Block-INT8
https://huggingface.co/meituan/DeepSeek-R1-Channel-INT8
相关内容
热门资讯
台积电宣布出售世界先进8.1%...
5月15日消息，台积电宣布出售世界先进8.1%股权，未来占比将从27.1%下降至约19%。本次股权出...
马斯克：如果我破产了，绝不会去...
今天刷视频的时候，听到马斯克面对采访时说了这么一段话，我觉得很有意思。 “如果今天我破产了，绝对不会...
如何确保美国遵守承诺使谅解备忘...
中新网北京6月24日电 (记者 张素)中国外交部发言人郭嘉昆24日主持例行记者会。 会上，有伊朗媒体...
直击链博会丨记者观察：全球供应...
中国商报（记者 马嘉 文/图）2026年链博会的展馆里有了新变化：过去，跨国公司喜欢把最炫酷的成品摆...
从中国茅台镇到美国肯塔基：“熵...
近日，烈酒品牌“熵（SHĀNG）”于美国肯塔基州正式启动全球预售。该品牌由天士力集团、美国 True...
特朗普“下马威”遇上马克龙“凡...
相比之下，高市早苗和特朗普的状态则格外引人关注。高市早苗是首次以日本首相身份出席G7峰会。从照片可以...
中方如何看待当今美国？外交部：...
5月15日消息，外交部发言人郭嘉昆主持例行记者会。彭博社记者提问，美国总统特朗普在社交媒体上发文称，...
美国政府披露特朗普Q1交易：买...
5月15日消息，根据美国政府道德办公室当地时间周四最新公布的两份财务披露文件，美国总统唐纳德·特朗普...
阳光电源成交额达200亿元，现...
5月15日消息，阳光电源成交额达200亿元，现涨11.43%。（科股宝播报）
华升股份午后跳水上演“天地板”...
5月15日消息，华升股份午后跳水触及跌停，上演“天地板”，成交超16亿。该股此前连续2日一字涨停，今...