本文内容节选自6月13日,由msup和高可用架构联合主办GIAC全球互联网架构大会,腾讯云存储高级产品经理王致铭分享的《「存储+智能」组合拳助力数据管理架构升级》案例实录。
目录
• 场景分析
• 存储底座
• 处理管理双引擎
• 一站式软件搭建平台
演讲全文
01
场景分析
过去我们一直在讲云原生概念,云原生时代云厂商发挥云标准化技术优势和生态优势。随着技术飞速发展,AI时代来临,腾讯云率先推出AI原生概念,将云原生技术标准优势、生态优势与AI大模型训练、智能体开发相结合,让云环境和服务更好适配技术场景。腾讯云也因此成为业内公认的AI原生云,获权威机构和头部模型训练厂商认可。
在AI浪潮下,存储场景主要分为四个阶段。云服务初期,核心是解决数据云端备份问题,将非结构化图片、办公数据等上传到云端,保证低成本持续存在且不丢失。随着业务发展,数据存储后产生更多处理类需求,如电商行业对数据进行打水印、缩放裁剪等处理加工操作,存储上层处理产品应运而生。3.0时代,技术进步,叠加更多AI能力和处理能力,如对非结构化数据进行压缩、识别等。如今的4.0时代,AI技术进步使非结构化数据使用、处理与管理诉求增多,如对非结构化数据快速建库与检索,满足电商业务或知识平台建立诉求。
在此背景下,腾讯云存储产品矩阵提出“storage for AI and AI for storage”概念。一方面,storage for AI体现在除对象存储COS外,还推出数据加速器产品GooseFS,以极致性能和体验满足大数据训练、清洗场景业务需求;另一方面,AI for storage则是AI技术发展反哺存储上层处理能力,如结合AI特征提取和建库实现非结构化数据智能管理。
02
存储底座
对象存储(COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。通过控制台、API、SDK 和工具等多样化方式,用户可简单、快速地接入 COS,进行多格式文件的上传、下载和管理,实现海量数据存储和管理。
在成本控制方面,COS提供了全生命周期的管理方案。用户可以根据数据的访问频率和存储需求,将数据灵活地放置在标准存储、低频存储、归档存储或深度归档存储中。智能分层存储功能能够根据业务制定的规则,智能地判断数据的访问频次,从而自动将数据归放在合适的存储层级,实现存储成本的优化。同时,在数据安全方面,通过精细化的权限管理,用户可以精确地控制每个文件的访问权限,避免越权访问和数据泄露的风险。此外,COS提供了多种数据防覆盖机制,如对象锁定功能、x-cos-forbid-overwrite 头部以及版本控制等,有效防止数据被意外覆盖或恶意删除,最大程度地降低了数据丢失的风险。
针对AI场景下的特殊需求,腾讯云推出了数据加速器GooseFS。这款产品专为大数据训练、清洗过程中产生的大批量小文件数据流动场景而设计。它在存储吞吐、访问时延和访问QPS等关键性能指标上进行了显著优化,从而解决了客户在数据清洗训练过程中的痛点。与对象存储COS配合使用时,GooseFS能够带来性能和体验的质的飞跃,为AI业务提供了强有力的存储支持。
03
处理管理双引擎
数据万象作为腾讯云重要的上层处理工具,其起源与QQ空间相册业务息息相关,经过多年发展,现已成为集处理管理双引擎于一身的平台。其处理引擎功能强大,能提供图片裁剪、加水印、转码、识别、审核等各类处理加工服务,充分满足业务方的多样化需求。作为近存储加工产品,数据万象不仅生长于存储之上,可节省流量成本,还具备更快的响应速度。更值得一提的是,业务方能通过COS的UL拼接core string执行处理操作,实现无缝接入,极大降低了使用门槛。
数据万象的管理引擎同样表现出色,可对海量非结构化数据进行特征提取和建库,支持多模态检索,如以文搜图、以图搜视频等。如下几个应用场景,可以更加直观的去感受数据万象的处理能力,能够怎么帮助业务。
一、在内容保护场景中,腾讯云率先推出了盲水印功能,将水印以不可见的方式添加到图片中,即使图片经过裁剪或叠加其他水印等篡改,也能从结果图中提取出盲水印信息,为后续的法律追诉或维权提供有力支持。小红书曾成功利用盲水印功能追溯并警告多家侵权公司,有效维护了自身的内容版权。
二、在私域营销场景里,数据万象大显身手,满足以图搜图和阻断截流等功能需求。以图搜图功能帮助用户根据参考图快速定位对应商品及推荐类似商品,实现业务闭环;阻断截流功能则能迅速锁定海量图片中的二维码信息和位置,阻断竞品引流图片传播,甚至替换为自身二维码,守护私域流量。
04
一站式软件搭建平台
智能媒资托管作为腾讯云新推出的PaaS层软件搭建平台型产品,将底层存储、上层处理、业务接入等能力整合封装成“全家桶”式套餐,以SDK或API形式提供给业务方,极大简化了SaaS应用的搭建流程。其核心优势在于显著降低前期人力和时间成本。传统SaaS产品开发需耗费大量时间精力处理底层存储、加工能力接入及前端页面开发连调等工作,而智能媒资托管让业务方专注于上层页面、付费及用户运营逻辑搭建,将复杂的后端逻辑和运维工作交由腾讯云处理,实现轻松运维。
智能媒资托管在业务适配性上表现出色。文件去重功能可检测新上传文件与存量数据是否重复,若存在相同文件则直接去重,既降低存储成本,又提升用户体验至秒传;边转边播功能专为视频类资源设计,仅对播放部分进行转码,有效节约存储和转码费用,同时通过预切片处理降低等待时长,优化用户体验。
腾讯云企业网盘作为智能媒资托管的最佳实践案例,提供公有云SaaS版本和私有化部署版本,除了基本的数据上传下载分享功能外,还与腾讯办公全家桶深度整合。与企业微信账号同步、与腾讯电子签一键发起签署、在腾讯会议内直接使用等功能,极大提升了办公效率。
以上内容来自王致铭老师的分享。