中国电信董事长柯瑞文
当前,随着大模型Scaling Law持续生效,国内外主流基础大模型参数量不断增加,算力需求持续攀升。同时,大模型架构正从稠密架构向混合专家模型(MoE)稀疏架构演进。为适应这一趋势,业界智算服务器在提升单卡算力的同时,正加速从单节点向超节点架构转型。智算昇腾超节点采用新型高速总线架构,天然适配混合专家模型(MoE)架构,显著提升了大模型训练效率和推理性能。
据介绍,该智算昇腾超节点具有四大核心优势:第一,通过架构升级和软件优化,训练和推理性能得到大幅提升。相比910B,NPU间高速互联带宽提升14倍,模型切分并行域提升48倍,训练场景效率提升2.7倍,推理场景单卡吞吐提升20倍以上;第二,依托中国电信云网融合的运力优势,提供超低时延、超高安全、超快传输的运力保障。通过全光400G运力网络构建华南地区10毫秒、广东地区5毫秒、大湾区3毫秒的超低时延运力底座,实现智能算力高速互联。同时运用量子技术保障数据安全传输,并通过超算快线提供高达百G的敏捷弹性、任务式服务的算力传输能力;第三,依托“息壤”一体化智算服务平台,将智算昇腾超节点纳入全国算力体系,结合大湾区通算、智算、超算层次化布局,为用户提供训推一体、云智一体、超智一体服务能力;第四,作为粤港澳大湾区首个大规模全液冷智能算力数据中心,该节点全面应用绿色低碳技术,100%使用绿电,PUE控制在1.15以下,并采用数字孪生、AI等先进技术,打造全程数字化智慧运营管理能力,构建智慧的AIDC。
据了解,中国电信此前已在京津冀、长三角建成国内首批全液冷万卡池,有效保障了智能算力供给。此次在粤港澳大湾区枢纽节点建设的首个超节点形态集群,标志着中国电信实现了智能算力供给在质与量上的双重跨越。