90秒读完300页哈利波特,AI PC运行面壁大模型效率翻倍
创始人
2025-06-07 05:01:17
0

今天,面壁智能正式发布并开源了「面壁小钢炮」端侧系列最新力作——MiniCPM 4.0 模型,实现了端侧可落地的系统级软硬件稀疏化的高效创新。英特尔与面壁智能从模型开发阶段就紧密合作,实现了长短文本多重推理效率的提升,端侧AI PC 在Day 0全面适配,128K长上下文窗口等多方面突破。

双方开展了深度技术协同,基于英特尔硬件架构定制投机解码配置。通过硬件感知的草稿模型优化策略,结合英特尔加速套件与KV Cache内存增强技术,实现端到端推理效率的2.2倍提升1,携手为业界带来了全新的模型创新和端侧性能体验。

此次,面壁推出的MiniCPM 4.0系列LLM模型拥有 8B、0.5B 两种参数规模,针对单一架构难以兼顾长、短文本不同场景的技术难题,MiniCPM 4.0-8B 采用「高效双频换挡」机制,能够根据任务特征自动切换注意力模式:在处理高难度的长文本、深度思考任务时,启用稀疏注意力以降低计算复杂度,在短文本场景下切换至稠密注意力以确保精度,实现了长、短文本切换的高效响应。

目前,具有CPU、GPU、NPU三个AI运算引擎的英特尔酷睿Ultra处理器已迅速对此适配,并借助OpenVINO™ 工具套件为MiniCPM 4.0系列模型提供优化的卓越性能表现。英特尔再次在NPU上对模型发布提供第零日(Day 0)支持,为不同参数量模型和应用场景提供更多样化的、更有针对性的平台支持。

在长上下文窗口的技术创新方面,英特尔也有了新的突破。依托分块稀疏注意力机制,结合深度算子融合与硬件驱动的算法优化,实现了长文本缓存的大幅锐减,和推理效率的进一步提升。 在保证输出质量的前提下,我们首次在基于英特尔锐炫™ Pro B60上将长上下文窗口扩展至128K。相较于稠密模型,首Token延迟降低了38%3,Token速率提升多达3.8倍3。经过这样的提升,一整部300多页的哈利波特小说,可以在90秒内完成阅读、分析和总结。这不仅极大地提升了AI PC的用户体验,也为解锁更多端侧AI新应用建立了强大的基础。未来,英特尔将持续保持与面壁的深度合作和协同研发,进一步提升长上下文窗口应用的性能。对128K的文本输入进行处理的效果请参考视频演示。

在当今数字化时代,人工智能技术正以前所未有的速度发展,英特尔作为全球领先的科技企业和AI PC的发起和倡导者,始终致力于推动端侧AI模型的创新发展。

此次合作不仅彰显了英特尔在AI领域的强大技术实力,也体现了其对创新生态系统的坚定承诺。通过整合双方的技术优势和资源,英特尔平台和MiniCPM 4.0系列模型联合解决方案的广泛应用和落地部署已经奠定了坚实的基础,有望在智能生活、生产力提升等多个场景中发挥关键作用。

展望未来,英特尔将继续与面壁智能保持紧密合作,同时积极拓展合作关系,不断探索AI技术的新边界。英特尔致力于通过持续创新,推动人工智能技术的普及与发展,构建更加智能、高效的未来社会。

相关内容

热门资讯

《2025智能矿山暨无人驾驶行... 近日,《2025智能矿山暨无人驾驶行业蓝皮书》在新疆发布。 据介绍,《蓝皮书》由中国矿业大学煤炭精细...
洪水过后,没大坝的河流恢复更快... 家人们,今天咱来唠唠洪水过后河流恢复的事儿。你们有没有想过,为啥有些没有大坝的河流,在经历洪水肆虐后...
原创 6... 今年618购买手机真的特别划算,原因很简单,那就是除了官方降价和平台补贴外,还能有额外的国补,这样一...
格力电器获得发明专利授权:“泵... 证券之星消息,根据天眼查APP数据显示格力电器(000651)新获得一项发明专利授权,专利名为“泵体...
从“清基之王”到细胞守护者:二... 近年来,随着公众对慢性病、亚健康状态以及细胞级健康管理的关注度不断上升,一种来自西伯利亚原始森林的天...
2025年第18期(总899期... 今天分享的是:2025年第18期(总899期):开源大模型DeepSeek实现三个“首次”,应借助开...
能特新能源取得一种具有防水结构... 金融界2025年6月6日消息,国家知识产权局信息显示,中山市能特新能源科技有限公司取得一项名为“一种...
传SpaceX将在德克萨斯州建... 6月6日消息,据Tom's hardware报道,业内传闻显示,美国航天科技大厂SpaceX 为应对...
格力电器获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示格力电器(000651)新获得一项实用新型专利授权,专利名为“...
这位区人大代表的“三重奏”,为... 作为上海的“心脏、窗口、名片”,黄浦区是经济发展的沃土,也是无数民营企业借势腾飞的福地。在激烈的市场...