DeepSeek发布开源周首个成果 可优化英伟达GPU效率
创始人
2025-02-24 21:01:55
0

新京报贝壳财经讯(记者罗亦丹)北京时间2月24日上午,DeepSeek发布了其“开源周”的第一项成果:FlashMLA(直译为快速多头潜在注意力机制)的代码。

据了解,MLA(多头潜在注意力机制)正是DeepSeek降低大模型成本使用的关键技术之一,其可以显著减少大模型训练和推理过程中的内存占用,而FlashMLA则是针对Hopper GPU(一种英伟达GPU架构)开发的高效MLA解码内核,其针对可变长度序列进行了优化,目前已投入了生产,其可以使得H800达到3000GB/s内存,实现580TFLOPS(每秒浮点运算次数)计算性能。

贝壳财经记者注意到,根据此前DeepSeek发布V3大模型时公开的技术文档,该大模型正是使用英伟达的H800芯片训练而成。

上海骊翰科技咨询有限公司发文称,FlashMLA能在不损失模型性能的前提下,将缓存体积压缩至原来的1/4,从而大幅降低显存需求。例如,原始需要存储的100GB中间结果,压缩后仅需25GB,通过开源让企业可以直接使用FlashMLA来优化自家模型。随着FlashMLA的普及,AI推理有望进入千元级硬件跑百亿模型的时代。

编辑 王琳琳

校对 刘军

相关内容

热门资讯

透视有挂!德扑之星猫腻,(云扑... 透视有挂!德扑之星猫腻,(云扑克德州)一直有挂(详细辅助可靠教程);德扑之星猫腻辅助器中分为三种模型...
透视苹果版(WPK)wpk透视... 透视苹果版(WPK)wpk透视辅助工具(透视)详细辅助第三方教程(一贯是真的有挂);1、首先打开wp...
透视软件(AApoker)aa... 透视软件(AApoker)aapoker透明挂(透视)总是有挂(详细辅助详细教程)1、每一步都需要思...
透视软件(wePOke)透明挂... 透视软件(wePOke)透明挂辅助app(wepoke一定有挂)从来存在有挂(详细透视教你攻略);支...
在未知中“自造意义”的能力,使... 来源:市场资讯 (来源:澎湃新闻) 2025年11月7日上午,在第七届中国国际进口博览会(CIIE)...
透视挂(WPk)wpk俱乐部(... 透视挂(WPk)wpk俱乐部(透视)详细辅助德州论坛(本来有挂)1、这是跨平台的wpk俱乐部黑科技,...
透视玄学!德扑ai助手,(来玩... 透视玄学!德扑ai助手,(来玩德州)果然有挂(详细辅助靠谱教程);1、下载好德扑ai助手辅助软件之后...
透视系统(AAPoKER)aa... 透视系统(AAPoKER)aapoker挂(透视)本来真的是有挂(详细辅助揭秘教程)1、aapoke...
透视辅助(wepoKE)透视辅... 透视辅助(wepoKE)透视辅助插件(wepokeai机器人)一向真的有挂(详细透视新版2025教程...
透视辅助(wPk)wpk有外挂... 透视辅助(wPk)wpk有外挂(透视)详细辅助必备教程(其实真的有挂);1、进入游戏-大厅左侧-新手...