大模型训推一体机:“开箱即用”的人工智能
创始人
2024-05-24 03:14:45
0

  新华社北京5月21日电自美国开放人工智能研究中心(OpenAI)发布聊天机器人程序ChatGPT及其背后的GPT系列大语言模型以来,人工智能大模型热潮持续蔓延,全球科技企业竞相宣布研发或推出自己的大模型,数量迅速增长的大模型如何实现商业化落地成为行业关注焦点。

除了OpenAI、谷歌等公司采取的提供云端大模型应用程序编程接口(API)的商业模式之外,另一条备受关注的商业化路径是销售“软硬件结合”的大模型训推一体机。这种商业模式在中国市场上热度较高,特别是多家中小型科技企业都推出了大模型训推一体机产品。这类“开箱即用”的人工智能产品可以在企业内进行本地化部署,使最新人工智能技术能够方便地在工业场景中落地应用,实现从人工智能技术到生产力的转化,加速人工智能与产业深度融合。

大模型训推一体机一般指集成了大模型训练和推理功能的“全栈式”人工智能设备,通常包含中央处理器(CPU)、图形处理器(GPU)、存储器、操作系统、深度学习模型等软硬组件,能通过大规模数据训练掌握数据处理和预测等能力。

与通过应用程序编程接口使用大模型功能相比,企业利用训推一体机实现大模型部署具有多方面优势。首先,训推一体机可以针对企业的特定业务需求提供“开箱即用”的定制化大模型解决方案,并通过软硬件协同优化提高性能,降低大模型部署、业务方案建设和调适的门槛。例如,佳都科技基于华为“昇腾AI”基础软硬件平台推出了“佳都知行交通行业大模型训推一体机”,可面向轨道交通、城市交通、城市安全等智慧城市重点建设领域,提供智能化、高效实时的解决方案和决策支持。

其次,由于训推一体机将所有计算资源集中到一台设备上,在大规模数据训练中可大幅减少数据传输时间,提高计算速度和模型训练效率,使企业能够更快捷地使用和管理资源。

此外,本地化部署的训推一体机能最大程度保障数据隐私和模型安全可控,满足企业对数据安全监管的需求。英国《金融时报》日前报道说,在企业内部署的大模型训推一体机产品正在对一些大型科技企业提供的基于公共云的人工智能服务形成冲击。

该报道说,近期曝出的人工智能企业安全漏洞加剧了用户对数据安全的担忧。例如,ChatGPT将用户搜索历史分享给他人,以及韩国三星员工在使用ChatGPT处理工作时无意间泄露了商业机密等。报道援引中国科大讯飞董事长刘庆峰的话说,机构需要能够保护他们的数据,而建立私有云是防止有价值数据泄露的方法。

但也有观点认为,训推一体机性能会受到硬件技术限制,这提高了技术持有和更新的成本。《金融时报》的报道援引半导体行业研究机构SemiAnalysis的首席分析师迪伦·帕特尔的话说,相比于公共云服务或使用应用程序编程接口接入大模型,训推一体机效率更低下。该模式对人工智能大模型的使用非常零散,这意味着企业持有的昂贵人工智能硬件没有得到充分利用。

许多企业在衡量利弊后选择了训推一体机,这正在成为中国算力行业的趋势之一。2023年7月,华为联合多家伙伴共同发布“昇腾AI”大模型训推一体化解决方案,加速大模型在各个行业落地应用。目前,科大讯飞等多家中国科技企业都发布了基于华为“昇腾AI”基础软硬件平台的训推一体机产品。

华为董事、ICT(信息与通信技术)产品与解决方案总裁杨超斌在今年3月举行的华为中国合作伙伴大会上表示,2024年中国区人工智能训推一体机市场规模有望达到168亿元人民币。

相关内容

热门资讯

创业板指涨5%,军工股持续走高 11月5日消息,创业板指涨幅扩大至5%,深证成指涨3.2%,沪指涨2.1%,全市场超5000只个股上...
市场消息:波音美国工厂工人在工... 11月5日消息,市场消息称,波音美国工厂工人在工会投票中通过劳动合同,结束罢工。由59%的罢工工人支...
ST板块持续走高,逾30多股涨... 11月5日消息,ST板块午后持续走高,ST永悦、ST中装、ST加加、ST百灵、ST天邦、ST华微等3...
分辨真假!aa扑克,德扑之星外... 分辨真假!aa扑克,德扑之星外挂透明挂辅助脚本,实用技巧(有挂教程)-哔哩哔哩;人气非常高,ai更新...
7分钟了解!扑克王辅助工具,A... 7分钟了解!扑克王辅助工具,Aapoker外挂透明挂辅助软件,透牌教程(有挂功能)-哔哩哔哩;1、很...
分享给玩家!德州ai辅助nzp... 您好,POKERFUN这款游戏可以开挂的,确实是有挂的,需要了解加微【841106723】很多玩家在...
记者揭秘!德州之星app有的,... 记者揭秘!德州之星app有的,推扑克外挂透明挂辅助透视,安装教程(确实有挂)-哔哩哔哩;致您一封信;...
我来分享!云扑克德州有挂的,A... 我来分享!云扑克德州有挂的,Aapoker外挂透明挂辅助透视,可靠教程(有挂解惑)-哔哩哔哩是一款可...
玩家必看科普!德扑之星如何分别... 您好,德扑之星这款游戏可以开挂的,确实是有挂的,需要了解加微【136704302】很多玩家在这款游戏...
记者揭秘!微扑克辅助挂,推扑克... 记者揭秘!微扑克辅助挂,推扑克外挂透明挂辅助工具,高科技教程(有挂分析)-哔哩哔哩;亲,有的,ai轻...