数据觉醒时代 华为重新定义数据存储
5月7日，以“数据觉醒，构建AI-Ready的领先数据基础设施”为主题的2024创新数据基础设施论坛在德国柏林举行。华为公司副总裁、数据存储产品线总裁周跃峰发表题为“数据觉醒时代，华为重新定义数据存储”主题演讲，他表示，具备极致性能、数据韧性、全新数据范式、高扩展性、绿色节能、数据编织能力的数据存储是AI时代存储演进的必由之路。
华为公司副总裁、数据存储产品线总裁 周跃峰
从上世纪90年代至今，随着企业的应用由单机、数据库/虚拟化、文件共享、大数据、高性能数据分析等应用的变迁，数据存储经历了从DAS到SAN/NAS，再到非结构化存储的变革与演进。直到如今生成式AI的出现，对数据存储提出了新的诉求。
AI大模型集群规模已迈入万卡、十万卡时代，集群规模增加带来更加频繁的故障和训练中断，重复的CheckPoint数据写入、断点续训导致算力资源闲置，集群可用度不足50%。此外，到2026年，全球数据中心的耗电量预计将达到2022年的2.3倍，其中数据中心一半以上的电力消耗都将被AI占据。
AI时代呼唤新一代数据存储。过去的数据存储主要关注性能、可靠、数据范式三个方面；面向未来，AI存储还应增加三个维度：高扩展性、绿色节能与数据编织。数据觉醒时代，华为将重新定义数据存储，聚焦于六个方面的创新，持续引领：
1.极致性能：超越传统存储10倍的性能，支持PB级带宽以及亿级IOPS，极大提升生成式AI全流程效率；
2.数据韧性：通过架构和技术创新，实现99.9999%高可靠性，通过内置防勒索引擎，实现侦测准确率提升至99.99%，并将AI训练过程中CheckPoint恢复时间缩至1分钟以内；
3.全新数据范式：使能多维“张量”格式的数据，通过智能检索引擎，具备快速的张量数据检索能力；通过内嵌知识库，利用RAG技术消除AI大模型幻觉；
4.高扩展性：存储集群支持EB级容量横向扩展；每个引擎可支持多GPU、DPU或NPU纵向扩展，以支持近存计算；
5.绿色节能：通过存储介质应用创新和整机硬件创新，实现小于1Watt/TB的存储能效和1PB/U的存储密度；
6.数据编织：基于存储元数据管理及检索能力，实现全局数据可视、可管，并支持10倍的数据流动效率提升。
基于以上创新，华为推出全新A系列高性能存储OceanStor A800，专为AI而生，可有效提升AI集群可用度30%。性能方面，OceanStor A800带宽是同类产品的4倍，IOPS达同类产品的8倍；支持EB级容量扩展，最大支持扩容至4096张算力卡，512个存储控制器；从空间能耗来看，密度高达1PB/U，能耗低至0.7Watt/TB；结合向量化索引、张量格式数据、RAG知识库，使能全新数据范式；数据韧性方面，勒索攻击侦测准确率从99.9%提升至99.99%；通过数据编织能力，实现数据资产管理。
此外，存储介质创新助力可持续发展。华为新推出128TB大容量SSD盘，相比业界，每PB节约88%空间，节省92%能耗，相同空间实现10倍容量提升，进一步降低数据中心能耗。
同样，AI-Ready的前提是Data-Ready。DME内置的Omni-Dataverse全局文件系统实现企业全域数据资产可视、可管、可流动，构筑AI数据湖存储底座。
最后，周跃峰表示，华为将聚焦数据觉醒时代客户面临的挑战和需求，重新定义数据存储，构筑AI-Ready的领先数据基础设施，为客户创造价值。
来源：新华网