美团开源满血DeepSeek量化版？造福老显卡
创始人
2025-03-09 16:00:38
0次
2025-03-08 18:50:19 作者：八月八
美团技术团队近日宣布，对DeepSeek R1模型进行了INT8精度量化，使得该模型能够在老型号GPU如A100上进行部署。原生的DeepSeek R1模型权重采用FP8数据格式，这限制了其只能在英伟达的新型GPU上部署，而其他型号的GPU则无法直接支持。
为了解决这个问题，美团搜索和推荐平台部门尝试了对DeepSeek R1模型进行INT8精度量化。结果显示，量化后的模型精度基本保持不变。通过INT8量化，DeepSeek R1突破了芯片限制，现在可以部署在A100等GPU上。此外，与BF16相比，INT8量化还实现了50%的吞吐量提升，从而降低了推理成本。
现在，INT8量化代码已经发布在开源LLM推理框架SGLang上，量化模型也已发布至Hugging Face社区，以下是模型链接：
https://huggingface.co/meituan/DeepSeek-R1-Block-INT8
https://huggingface.co/meituan/DeepSeek-R1-Channel-INT8
相关内容
热门资讯
第9分钟练习！大当家辅助，皇豪...
第9分钟练习！大当家辅助，皇豪互娱科技（辅助）竟然真的有修改器（哔哩哔哩）1、实时皇豪互娱科技透视辅...
六分钟指南书！创思维激k辅助器...
六分钟指南书！创思维激k辅助器，财神13章作必弊（辅助）一直是真的插件（哔哩哔哩）1、创思维激k辅助...
九分钟模板！创思维激K辅助器开...
九分钟模板！创思维激K辅助器开挂，新超凡大厅辅助（辅助）都是有挂软件（哔哩哔哩）1、许多玩家不知道创...
第8分钟妙计！雀神麻雀充运势有...
第8分钟妙计！雀神麻雀充运势有用吗，新蜜瓜大厅免费控制器（辅助）确实真的有脚本（哔哩哔哩）1、新蜜瓜...
五分钟步骤！创思维激k看底牌辅...
五分钟步骤！创思维激k看底牌辅助，新挑战辅助脚本（辅助）竟然真的是有插件（哔哩哔哩）1、上手简单，内...
两分钟操作！随意玩房卡代理有挂...
两分钟操作！随意玩房卡代理有挂吗，新海贝之城脚本（辅助）好像有挂脚本（哔哩哔哩）所有人都在同一条线上...
八分钟模块！越乡游辅助器下载免...
八分钟模块！越乡游辅助器下载免费，微信小程序财神辅助器（辅助）本来是有插件（哔哩哔哩）1、越乡游辅助...
第五分钟办法！贰柒拾辅助软件是...
第五分钟办法！贰柒拾辅助软件是真的吗，微信小程序十三张脚本（辅助）真是真的是有辅助器（哔哩哔哩）1）...
脚本教你！德普之星透视辅助软件...
脚本教你！德普之星透视辅助软件激活码，德扑圈透视（透视）竟然是有挂（哔哩哔哩）1、打开软件启动之后找...
第5分钟指南！科乐天天踢解码器...
第5分钟指南！科乐天天踢解码器，新道游开挂视频（辅助）切实真的是有插件（哔哩哔哩）1、下载好科乐天天...