国电通申请大型语言模型训练方法专利，解决设备资源限制_科技资讯

国电通申请大型语言模型训练方法专利，解决设备资源限制

创始人

2025-02-01 11:41:58

0次

金融界2025年1月31日消息，国家知识产权局信息显示，北京国电通网络技术有限公司申请一项名为“大型语言模型训练方法及相关设备”的专利，公开号CN 119378662 A，申请日期为2024年9月。

专利摘要显示，本申请一个或多个实施例提供一种大型语言模型训练方法及相关设备。所述方法包括：将所述大型语言模型的编码器分解为多个子模型；将所述子模型部署于设备集群的设备上，并将所述大型语言模型部署于服务器上，所述子模型与所述设备一一对应；迭代训练所述大型语言模型，其中每次迭代训练，所述设备集群和所述服务器以流水线并行方式处理数据。本申请提出了一种基于流水线并行的编码器块分割机制，在分布式设备上训练大型语言模型的方法。通过本申请可以在保证用户数据隐私的同时解决设备资源的限制。

天眼查资料显示，北京国电通网络技术有限公司，成立于2000年，位于北京市，是一家以从事专业技术服务业为主的企业。企业注册资本73000万人民币，实缴资本19000万人民币。通过天眼查大数据分析，北京国电通网络技术有限公司共对外投资了5家企业，参与招投标项目1903次，知识产权方面有商标信息66条，专利信息885条，此外企业还拥有行政许可19个。

来源：金融界

上一篇：7分钟了解!中至吉安系统发牌技巧(辅助挂)太难了!Wepoke脚本原来是有挂(哔哩哔哩)

下一篇：2分钟了解!开心跑胡子辅助器(辅助挂)太离谱了!Wepoke辅助挂原来一贯都是有挂(哔哩哔哩)

国电通申请大型语言模型训练方法专利，解决设备资源限制

相关内容

热门资讯