「地表最快」 AI 芯片发布,哈佛辍学的本科生挑战英伟达
创始人
2024-06-27 19:41:48
0

在谈到 AI、大模型、算力等关键词时,如果要提及硬件产品,很多人应该会不假思索的说出英伟达。

一位华尔街分析师曾如此评论到:

人工智能领域正在进行一场战争,而英伟达是唯一的军火商。

的确,在 AI 时代下,英伟达的地位是独特又难以撼动的。但现在,有一位勇者准备正式挑战这一局面。

2022 年,Gavin Uberti 和 Chris Zhu 创立了 Etched.ai。他们从一开始就获得了包括 Ebay 前 CEO Devin Wenig 在内的 536 万美元的种子轮投资。

在刚刚宣布融资 1.2 亿美元后,Etched 又发布了目前的最快的 AI 芯片 —— Sohu。

此 Sohu 非彼搜狐,它号称可以在毫秒级别的时间里处理数千个单词。每秒能处理超过 50 万个 tokens,运行 Llama 70B 模型。

什么概念呢?这就相当于可以在两秒内写完《圣经》,或者一年写 15 万亿个 tokens。

据 Etched 官网介绍,Sohu 在硬件层面上集成了 Transformer 架构,是首个专为 Transformer 模型设计的专用芯片(ASIC)。

正是这种专用性,才为 Sohu 带来了性能的巨大提升。相较于英伟达 H100,Sohu 的推理速度相提升了 8 至 10 倍。

一个搭载八片 Sohu 芯片的服务器,可以取代整整 160 个英伟达 H100 GPU。

对于编程场景,Sohu 可以通过蒙特卡洛树搜索,并行相应数百个结果,给出最优秀的答案。

无论是语音助手还是智能客服,Sohu 都能做到在几毫秒内分析数千个单词。

并且 Sohu 还支持多重推测解码,可以以极快的速度实时生成新的内容。

作为全球首款 Transformer 专用集成电路(ASIC)芯片,每张 Sohu 芯片只有一个核心,使用了台积电 4nm 制造工艺,并配有 144GB HBM3E 高带宽内存。

相比英伟达的下一代 Blackwell(B200)GPU,Sohu 的速度提高了一个量级,价格也会更加便宜。

短短两年时间,Etched 从零开始成长到现在这番模样,实在是一个「奇迹」。

Chris Zhu 是一名华裔,他和 Gavin Uberti 一起创立了 Etched,二人也都有着丰富的背景。

Gavin Uberti 和 Chris Zhu 都曾就读于哈佛大学,度过了一段本科生活。后来出于一些原因,他们选择休学一年,并在 OctoAI 找到了一份实习工作。

当时二人的工作内容,主要是负责 ApacheTVM 开源编译器和微内核开发。但在实习时,他们发现 Arm 的指令集中的一些设计十分低效,使得他们的工作效率很差。

Gavin Uberti 说到:「这个问题无法解决,每次工作时我都得面对这个问题,这让我和 Chris 觉得我们必须做得更好。」

在思考如何解决这个问题时,他们突然发现可以利用这个思路来设计一款 AI 加速芯片。

于是两人便选择了从哈佛辍学,创办了一家专注于 LLM 的 AI 芯片初创公司 —— Etched。

在 Gavin Uberti 看来,通用公版设计无法带来获得突破性的性能提升,所以他们才研发 Transformer 架构下的专用加速芯片。

Gavin Uberti 曾说:

必须在单一架构上下大力气,让芯片处理AI任务,目标太大了,必须要针对更具体的任务来设计芯片......我们认为英伟达最终会这么做。

目前主流的 AI 产品如 ChatGPT、Claude、Gemini 和 Sora 等,都是基于 Transformer 架构驱动的。

作为全球首款 Transformer ASIC 芯片,再配上如此亮眼的成绩,Etched 自然也是吸引了一大波关注。

6 月 25 日,Etched 宣布完成 1.2 亿美元的 A 轮融资。这次融资由纽约风投机构 Primary Venture Partners 和 Positive Sum Ventures 共同领投。

其天使投资人阵容也十分强大,包括风险投资家 Peter Thiel、GitHub 首席执行官 Thomas Dohmke、自动驾驶公司 Cruise 的联合创始人 Kyle Vogt, 以及 Quora 的联合创始人 Charlie Cheever,

在 2022 年创立之初,Etched 就看中了Transformer将会占据主导地位的未来。Gavin Uberti 表示,「我们正在人工智能领域下最大的赌注。」

如果我们赌对了,Sohu 将改变世界。这就是我们敢于下注的原因。

相关内容

热门资讯

适龄人口锐减,美国数百所大学免... 9月6日,面对18岁适龄生源缩水与财务压力,美国数百所高校正在扩大推行“直接录取”机制,不再等学生递...
电影《给阿嬷的情书》正式登陆北... 9月6日,中国电影《给阿嬷的情书》当地时间9月4日正式登陆北美院线,在美国、加拿大数十座城市超过16...
原创 菲... 菲律宾接连利用美军锁定中资企业,派遣小飞机侵入黄岩岛空域,甚至将一艘锈迹斑斑的旧军舰固执地停靠在仁爱...
时报观察丨AI时代,不能让中小... 当人工智能(AI)开始重塑全球经济版图,数字鸿沟并未因技术普及而收窄,反而在AI浪潮中演化出新的形态...
2026广西“智创视界·元启未... 9月5日,广西2026年AI赋能千行百业超级联赛(A超)重要子赛事——“智创视界·元启未来”AI&A...
厄尔尼诺将达“超强”级别,或在... 9月6日,国家气候中心最新监测显示,本次厄尔尼诺现象因海温偏暖幅度大,即将达“超强”级别。本次超强厄...
用电动技术延续56年的豪华SU... 比最初计划的时间晚了更久之后,我们终于见到了量产版的揽胜纯电版。作为捷豹路虎56年来首次采用全新动力...
首次质量督查:督察发现153个... 9月6日,据市场监管总局,国家质量强国建设协调推进领导小组办公室近日会同工业和信息化部、住房城乡建设...
江西遂川泥石流已致2人遇难,1... 9月6日,从正在前方救援的南昌消防机动支队获悉,今天上午,南昌消防机动支队与吉安、赣州等多路消防救援...
原创 4... 人到中年,最该做的不是拼命往生命里塞人,而是狠心清场。可你偏偏不敢。 我删掉第327个联系人的时候,...