DeepSeek发布开源周首个成果 可优化英伟达GPU效率
创始人
2025-02-24 21:01:55
0次
新京报贝壳财经讯（记者罗亦丹）北京时间2月24日上午，DeepSeek发布了其“开源周”的第一项成果：FlashMLA（直译为快速多头潜在注意力机制）的代码。
据了解，MLA（多头潜在注意力机制）正是DeepSeek降低大模型成本使用的关键技术之一，其可以显著减少大模型训练和推理过程中的内存占用，而FlashMLA则是针对Hopper GPU（一种英伟达GPU架构）开发的高效MLA解码内核，其针对可变长度序列进行了优化，目前已投入了生产，其可以使得H800达到3000GB/s内存，实现580TFLOPS（每秒浮点运算次数）计算性能。
贝壳财经记者注意到，根据此前DeepSeek发布V3大模型时公开的技术文档，该大模型正是使用英伟达的H800芯片训练而成。
上海骊翰科技咨询有限公司发文称，FlashMLA能在不损失模型性能的前提下，将缓存体积压缩至原来的1/4，从而大幅降低显存需求。例如，原始需要存储的100GB中间结果，压缩后仅需25GB，通过开源让企业可以直接使用FlashMLA来优化自家模型。随着FlashMLA的普及，AI推理有望进入千元级硬件跑百亿模型的时代。
编辑 王琳琳
校对 刘军
相关内容
热门资讯
透视妙招！哈糖大菠萝挂法，椰岛...
透视妙招！哈糖大菠萝挂法，椰岛常胜游戏脚本（辅助）一贯真的有插件（哔哩哔哩）1、透视妙招！哈糖大菠萝...
透视步骤！aapoker俱乐部...
透视步骤！aapoker俱乐部靠谱吗，AApoker逻辑本来是有脚本，第9分钟教程（有挂分析）1、每...
第九分钟方式！奇迹永久免费脚本...
第九分钟方式！奇迹永久免费脚本辅助工具，新九五有没有脚本（辅助）总是是有辅助器（哔哩哔哩）1、奇迹永...
透视模板！红龙poker辅助器...
透视模板！红龙poker辅助器免费观看，旺旺福建辅助（辅助）确实是有神器（哔哩哔哩）1、旺旺福建辅助...
透视模块！xpoker辅助助手...
透视模块！xpoker辅助助手，HHpoker功能本来是有下载，第8分钟教程（今日头条）1、让任何用...
1分钟烘培！邳州友友辅助app...
1分钟烘培！邳州友友辅助app官网，新荣耀辅助安装（辅助）真是是真的软件（哔哩哔哩）1、邳州友友辅助...
五分钟法门！中至赣牌圈手机辅助...
五分钟法门！中至赣牌圈手机辅助，财神13章辅助软件（辅助）都是真的有神器（哔哩哔哩）1、超多福利：超...
备受关注的！汇城辅助，poke...
备受关注的！汇城辅助，pokemmo辅助工具（透视）开挂辅助工具（哔哩哔哩）1、汇城辅助免费脚本咨询...
透视要领！约局吧作必弊脚本，中...
透视要领！约局吧作必弊脚本，中至九江黑科技app怎么下载（辅助）切实真的是有教程（哔哩哔哩）1、很好...
透视指南书！德普之星怎么设置埋...
透视指南书！德普之星怎么设置埋牌，德普之星开辅助竟然真的有插件，第八分钟教程（有挂秘笈）德普之星怎么...