当下,多数企业仍在存储困境中艰难突围:成本居高不下,数据迁移复杂繁琐,管理各自为政形成孤岛,数据呈指数级迅猛增长,存储延迟漫长,停机时间更是难以承受。
在数据爆炸式增长和AI对存储需求激增的情况下,如何化解这些挑战呢?除了存储技术的重大突破外,最受企业欢迎的就是软件定义存储(SDS)了。
当面临存储容量不足时,组织无法单纯依靠增添硬件来解决问题时,正是推进存储架构现代化,优化投资策略的关键时刻。
倘若SAN/NAS现有难题让企业辗转难眠,那么,是时候对软件定义存储解决方案进行评估了。
一款优秀的SDS方案,能打破设备依赖的局限,针对不同的部署及拓扑模型灵活重新配置,如此一来,便能轻松接纳来自竞争供应商的新型硬件创新成果。
此外,在考量存储方案时,还需关注其在负载均衡以及热数据、温数据、冷数据分配方面所提供的自动化程度与策略驱动型智能水平。
无论您当前采用何种存储硬件,SDS都如同存储系统的 “智能大脑”,将决定您能否充分优化存储系统的功能、特性、服务,为各类主机、应用及终端用户带来更大的优势。
在IT领域,变化是唯一不变的!经过多年的发展,数据存储的格局已经发生了重大变化,一个突出趋势和重要动力就是软件定义存储(SDS)。伴随着不断生产的海量数据,软件定义存储正在重塑企业管理和存储数据的方式。
SDS为化解传统存储环境挑战而生。
最初,组织严重依赖直连存储(DAS),一种将存储设备直接连接到服务器的简单方法。虽然DAS在小型环境中有效,但无法扩展,导致业务扩展效率低下。
为了解决这些限制,人们引入了网络连接存储(NAS)和存储区域网络(SAN)。NAS提供了可通过网络访问的基于文件的存储,而SAN通过专用网络提供块级存储。尽管NAS和SAN引入了一定程度的抽象和可扩展性,但也带来了如高成本、供应商锁定等一系列挑战。
而虚拟化技术的出现,成为IT基础设施包括服务器、存储等发展的一个重要的转折点。虚拟化通过将存储服务抽象并摆脱物理设备的限制,允许组织动态管理存储资源,类似于虚拟机(VM)的运行方式,为SDS铺平了道路。
经过多年的发展,软件定义存储成为一种通过软件管理和扩展数据存储资源的方法,独立于底层硬件。与严重依赖物理基础设施的传统存储解决方案不同,SDS抽象和池化资源以提供更大的灵活性、可扩展性和成本效益,使企业能够根据其特定需求定制存储解决方案,而不会被单一供应商或专有硬件所束缚。
SDS通过可扩展性、成本效益和简化管理解决了传统存储系统的局限性。通过增强数据存储基础设施,SDS 提供了更大的灵活性和可管理性,允许轻松扩展、动态资源分配和统一控制,使其成为处理不断增长的数据量的企业的实用解决方案。
SDS与传统存储方案相比的优势正在得到充分的发挥。
在灵活性和成本方面,传统存储依赖于硬件,可扩展性有限,成本高,与专有解决方案相关。而SDS提供与硬件无关的架构,可与任何平台集成,通过使用商用硬件来降低成本。借助SDS,企业可以使用现成的硬件,同时实现企业级性能,使高级存储解决方案更易于访问且更具成本效益。
最核心的突破就是摆脱供应商锁定。SDS为企业提供了更大的自由来选择和组合来自不同供应商的硬件,避免了供应商锁定的高昂代价。开放式架构允许企业选择满足其需求的最佳解决方案,而不受制于一家制造商。
SDS的核心在于三大实现原理的突破。
软件定义存储架构突破在于:实现了软件层与存储硬件的解耦和存储虚拟化,集中和简化存储基础设施管理,使用SDS优化存储容量等。
专家介绍,SDS 架构通常由三个主要组件组成:控制平面、数据平面和管理平面。
控制平面负责系统的智能化,提供去重、压缩、复制等服务;数据层面处理数据块的实际存储;而管理层面为管理员提供了一个界面,用于与存储基础设施进行交互和管理。
实现了控制、数据与管理的分离,使SDS能够跨环境动态管理存储,从而优化性能和灵活性。软件定义的存储解决方案通过提供必要的智能和灵活性来有效管理存储资源,在应对存储挑战和实现存储架构现代化方面发挥着至关重要的作用。
实现了统一存储。SDS将各种存储类型(如块、文件和对象存储等)整合到一个统一的池中,提高了资源利用率,简化了管理,并促进了跨本地、云或混合环境的无缝数据移动。
实现配置的自动化。SDS自动执行存储配置、数据放置和监控等流程,减轻IT团队的负担并提高效率。这些自动化工作流程可确保最佳存储性能,同时最大限度地减少人工干预。
云计算的兴起加速了对软件定义存储的需求。云服务为企业提供了对计算资源的按需访问,鼓励采用敏捷、可扩展且经济高效的存储解决方案,而传统的存储基础设施无法满足云环境的动态需求。
SDS解决方案支持通过软件配置和管理存储,从而为云环境提供了完美的匹配,促进了与云平台的无缝集成,使企业能够根据需要轻松扩展或缩减资源。此外,SDS与硬件无关的性质使组织能够采用混合方法,将本地和基于云的资源相结合,以优化其存储策略。
大数据分析的爆炸式增长进一步推动了软件定义存储的发展。每天生成的数据量庞大且种类繁多,因此需要能够高效处理大量工作负载的存储解决方案。传统的存储系统通常无法满足这些需求,从而导致瓶颈和成本增加。
SDS通过提供能够并行处理大量数据的分布式架构,提供了可行的解决方案。自动分层和数据缩减等功能与技术提高了存储效率,使企业能够分析大量数据集,而不会产生高昂的费用。
超融合基础架构(HCI)代表了软件定义存储发展的又一个里程碑。HCI将计算、存储和网络资源整合到一个统一的解决方案中,并通过软件层进行管理,通过利用商用硬件简化了管理,降低了成本。
在HCI环境中,软件定义存储通过抽象存储资源并促进不同组件之间的无缝通信,存储和计算资源的融合实现了高效且可扩展的环境,能够轻松支持现代应用和工作负载。
AI无疑是软件定义存储发展进程中的重要里程碑。AI为软件定义存储带来了革新。一方面,通过机器学习算法,存储系统能够智能分析数据,自动完成分类、分级与生命周期管理,将热数据存储在高速闪存,冷数据存于大容量硬盘,提升存储资源利用率。
另一方面,AI 的预测能力让系统提前预判数据访问模式,实现缓存预取与数据预分配,降低访问延迟。此外,AI还能实时监测存储系统软硬件状态,学习历史和实时数据,提前预测故障,实现自愈或预警,保障系统稳定可靠,降低运维成本。
从应用拓展角度看,软件定义存储在AI加持下,可支持海量小文件存储与高并发读写,为新兴技术提供存储支撑。
在行业变革方面,AI 推动软件定义存储管理方式从传统规则式向智能化、自动化转变,引发存储架构创新,如分布式、超融合存储架构的融合发展。
软件定义存储的使用案例熠熠生辉。SDS是一种多功能技术,可以根据组织的具体需求和目标应用于各种用例,常见的有:
在数据分析领域,SDS提供了一个可扩展且灵活的存储基础设施,可以处理大量数据,组织能够快速处理和分析数据,从而推动洞察和做出明智的决策。通过利用 SDS,企业可以动态分配存储资源,以满足密集型数据分析工作负载的需求,从而确保最佳性能和效率。
在云存储方面, SDS有助于创建可扩展且具有成本效益的云存储基础设施。它使组织能够在云中存储和管理大量数据,从而提供根据需要扩展存储容量的灵活性。
在虚拟化领域,SDS的主要优势之一是能够虚拟化存储资源。通过汇集来自多个设备的存储容量,SDS 使组织能够将其存储基础设施作为一个单一的、有凝聚力的实体进行管理,不仅简化了存储管理,还提高了资源利用率,确保存储容量在整个组织中得到有效利用。
在灾难恢复方面,SDS提供可扩展且灵活的基础设施来快速适应不断变化的需求。在发生灾难时,SDS 支持快速恢复数据,最大限度地减少停机时间,并确保业务连续性。它能够自动执行数据复制和故障转移过程,进一步增强了存储基础设施的弹性。
在DevOps环境中,SDS提供灵活且可扩展的存储解决方案,可以跟上开发和运营的快节奏。开发人员可以根据需要快速预置和管理存储资源,从而支持敏捷开发实践和持续集成/持续部署(CI/CD)管道,确保存储基础设施能够适应 DevOps 团队不断变化的需求。
市场研究公司 Mordor Intelligence的数据显示,2025年软件定义存储市场规模将达到193.7 亿美元,预计到2030年将达到581.6亿美元,年复合增长率为24.59%。
该公司认为,包括中国在内的亚太地区的客户/企业是IT服务的最大潜在市场之一,并且对转向现代存储解决方案持乐观态度。转变的倾向主要是为了克服数据安全、恢复以及虚拟和非虚拟化资源的集成等挑战。
相对而言,中国、印度等新兴经济体仍然依赖传统硬件进行存储。预计亚太地区强劲的数据存储需求,如智慧类工作场景和应用普及,造成非结构化数据量正在快速增长;随着物联网(IoT)的普及,边缘生成的数据正在急剧增加;在线支付的采用呈指数级增长,每天产生大量数据等,将为软件定义存储供应商提供潜在的商业机会。
IDC数据显示,2023年中国SDS市场同比增长9.8%。IDC预测,未来五年,中国软件定义市场将以6.7%的复合年增长率增长,预计在2028年市场容量接近39亿美元。
IDC的报告认为,对象存储市场增速较高,达到16%的同比增长。未来5年中国软件定义对象存储市场的年复合增长率将达到8.8%,云计算技术的多行业落地仍将推动中国软件定义块存储市场的稳定增长。
IDC认为,最终客户对于软件定义存储和超融合系统的需求将越来越集中在容量增长和性能提升上,推出分布式全闪存存储来提升设备性能,利用NVMe SSD进一步提升软件定义存储和超融合系统的稳定性等重要的发展方向。
另外,在AI应用场景中,软件定义存储的对象存储解决方案可以帮助处理EB级别的非结构化数据存储需求,可以为AI训练和分析提供稳定的支撑;而且数据分层能力可帮助AI优化训练和推理过程的数据获取效率。此外,在AI模型训练和验证过程中,对象存储支持版本控制,可帮助跟踪数据变化和模型迭代历史,方便回溯和对比实验结果。
软件定义存储市场是分散的,参与者众多。数据猿将目前国内的SDS市场的参与者分为以下几种类型:
第一类是综合性数据存储巨头,像华为、浪潮信息、曙光、新华三等国内企业,以及IBM、NetApp、Oracle、Dell等国际大厂。它们既是IT基础设施提供商,又拥有丰富存储解决方案;其技术实力雄厚,研发和创新能力强;拥有完善的销售和服务网络,在全球范围内提供全方位的支持;还会通过并购、投资等获取新技术和市场份额,并且不断扩张产能,在存储市场占据主要份额。
第二类是SDS技术包括虚拟化技术的主要提供商,如VMware、红帽、DataCore、Nutanix等。这类供应商专注于技术研发,凭借专业技术优势,为软件定义存储市场提供了核心技术支撑,其影响也日益扩大,成为SDS市场发展不可忽视的重要力量。
第三类是开源以及以开源和自研相结合的SDS方案供应商,如LINSTOR、OpenIO,以及开源和自主研发结合的星辰天合、大道云行等。开源SDS方案供应商以创新为驱动,通过开源社区汇聚各方智慧,产品往往具有较高的性价比和灵活性,能快速响应市场变化和客户的个性化需求,也是SDS发展的一种重要力量。
IDC列出了国内市场SDS的主要供应商,其最新产品利用AI,为AI服务。
其中,华为FusionStorage 8.0,基于全分布式架构,实现存储资源池化。其特色在于智能分级存储,能根据数据的访问热度自动将数据迁移到不同性能的存储介质上,提升整体性能。另外FusionStorage 8.0还具备横向扩展能力,存储容量和性能可随节点增加而线性增长,满足大规模数据存储需求。
浪潮信息针对大模型训练推出软件定义存储方案。该方案采用端到端优化策略,可使小文件性能提升5倍,大文件性能提升10倍,在训练时CheckPoint操作能实现秒级读写。通过自主研发SSD优化IO路径,提升效率。其特色是对大模型训练场景的深度适配,能有效减少 GPU时延,提高训练效率。
曙光ParaStor 3.0也是基于软件定义的分布式存储系统,支持多种存储协议,可融合文件、对象、块等服务。其亮点在于智能运维功能,通过AI技术实时监控存储系统状态,预测潜在故障,提前预警,降低运维成本和风险。
新华三H3C UniStor Polaris X20000系列,重构分布式存储软件平台,智能优化精简IO数据流,提升性能,融合协议,进化架构;体验重构带来强劲性能、智能管理、高效可用性体验;价值重构满足细分领域差异化存储需求,如支持70b参数级大模型训练,checkpoint加载速度提升50%。
星辰天合SKY SDS 6.0,提供统一的软件定义存储平台。具备多协议支持能力,能同时对接不同类型的应用。其特色是数据保护功能强大,支持多副本、纠删码等多种数据冗余技术,保障数据的高可靠性和安全性。
SDS技术提供商以创新技术引领发展。
VMware在虚拟化领域处于领先地位,其技术能有效整合硬件资源,提高资源利用率,为软件定义存储提供了关键的虚拟化基础,使得存储资源的灵活调配成为可能。
其vSAN是VMware的虚拟存储网络产品,与VMware流行的vSphere软件集成,以实现服务器虚拟化。vSAN提供原生加密、与其他VMware 管理工具的集成以及纠删码等功能,以增加可用存储容量。VMware 还提供 vSAN Support Insight,一种分析工具,可提供实时支持通知和可作的建议。
vSAN提供全闪存配置的压缩,数据保护功能包括Kubernetes集群的快照和备份还原,云原生存储支持Kubernete 环境中的所有关键存储API对象,集群或数据存储之间的虚拟机迁移,以及加密、支持容器环境等都特性。
Nutanix Unified Storage将块、文件和对象存储整合到一个平台中,对于希望从一个界面管理所有三种类型存储的团队特别有益。Nutanix的自动存储分层、内置勒索软件保护、与 Snowflake Data Cloud 集成以进行分析,以及复制、压缩等优势突出。
DataCore SANsymphony是一个适用于小型和大型企业的软件定义存储区域网络平台。虽然它与硬件无关,但SANsymphony还提供将其软件与Lenovo硬件集成的产品。SANsymphony 还提供与备份供应商Veeam的集成,以实现数据保护。其同步镜像、自动存储分层、数据迁移、快照等特性比较突出。
大道云行从第一代基于开源的成本极致容量型SDS 1.0,发展到第二代性能极致全闪型SDS 2.0,构建了完整的全闪存存储产业布局,分别推出了分布式统一存储XDFS和全闪NVMeoF 分布式块存储FASS,在软件定义存储领域跻身国内第一梯队。
开源SDS是一片发展热土,深受行业欢迎。
作为开源的分布式存储系统,红帽Ceph最适合大数据存储。Ceph Storage提供统一的块、对象和文件存储,非常适合云基础设施、数据分析、媒体以及备份和恢复系统。Ceph也提供多站点和灾难恢复选项,以及纠删码恢复,以防系统故障或中断损坏存储的数据。
OpenIO SDS也是一款专为大规模非结构化数据设计的开源软件定义存储系统。它基于对象存储技术,具备高度的灵活性和可定制性;支持从源代码编译安装,也可通过Linux发行版包管理系统部署,利用oio-reset.sh脚本,能帮助使用者快速搭建存储实例。
OpenIO SDS 在持续集成方面表现出色,适用于云计算平台、媒体流服务、大数据分析以及备份恢复等处理大量非结构化数据的场景 ,以其高可扩展性和强大性能,为企业提供经济高效的存储方案。
软件定义存储平台旨在将基于软件的存储管理与其底层硬件分离,一些基本功能可帮助存储团队更高效地预置和管理其存储。在选择SDS平台时,以下的功能有必要综合考虑:
首先是自动化。自动化存储流程可简化管理,降低存储基础架构的维护成本。例如,自动存储分层可以提高成本效率。
其次,可扩展性。理想情况下,软件定义存储平台应该能够在不中断性能的情况下扩展存储基础设施,将存储节点、虚拟机或硬件添加到企业的SDS中不应该是一个棘手的过程,虽然这可能需要一些时间和专业知识,但扩展应该会让企业的存储团队的整体工作更轻松,而不是更难。
第三,支持商用硬件和多个虚拟机管理应用。如果企业的存储团队可以使用商用硬件或拥有多个虚拟机管理选项,将有助与企业构建成本更低的存储系统。SDS 越容易实施并能集成到您现有的存储基础设施中,其越受欢迎。
最后,支持API。如果您的团队需要更密集的存储管理,那么带有API的产品将是企业的不二之选。API可帮助团队管理、预置和维护存储设备和服务,而且还允许团队根据兼容性将其基础设施中的其他产品与存储解决方案集成。
未来,软件定义存储前景不可估量。人工智能、机器学习等新兴技术有望进一步增强SDS功能,实现更智能的数据管理和预测分析。5G等网络技术的进步将实现更快的数据传输速率和改进的连接性,进一步推动 SDS 解决方案的采用。
此外,边缘计算的日益普及为软件定义存储带来了新的机会。通过将存储资源分布在更靠近数据源的位置,SDS 可以帮助减少延迟并提高需要实时处理的应用的性能,为企业提供了更高的运营敏捷性和响应能力。