一旦用户输入查询信息，该系统就会根据构成系统信息源的文档进行检查，并生成响应。

因为它能够将原始查询与网页的特定部分相匹配，所以它能够给出答案的引用来源，这是普通大模型无法做到的。

检索增强生成技术的一个主要优点是，它对用户查询生成的响应应该比仅基于训练数据生成答案的典型模型的响应更及时、更准确、更相关。这种技术经常被用来防止大模型产生“幻觉”。

但谷歌发言人没有证实 AI Overviews 是否使用了检索增强生成技术。

而检索增强生成技术并非完美无缺。为了让使用该技术的大模型得出一个好的答案，它必须正确地检索信息并正确地生成响应。

当这两个步骤中的一个或全都失败时，模型就会给出一个糟糕的答案。

AI Overviews 推荐在披萨里加入胶水的回应，源自于 Reddit 论坛上的一篇搞笑回帖。

该帖子很可能与用户一开始提到的如何解决奶酪不粘在披萨上的查询有关，但在检索过程中出现了问题。

仅仅因为内容是相关的并不意味着它是正确的，这个过程的信息生成步骤并不会质疑这一点。

同样，如果检索增强生成系统遇到相互冲突的信息，如老版和新版的政策手册，它将无法确定从哪个版本中获取信息并构建响应。

它可能会将两者的信息结合起来，产生一个潜在的误导性答案。

荷兰莱顿大学专门研究自然语言处理的教授苏珊·韦伯恩（Suzan Verberne）说：“大型语言模型会根据你提供的信息来源生成流利的回复，但流利的回复与正确的信息不同。”

她说，一个主题越具体，在大型语言模型的输出中出现错误信息的几率就越高。

并补充道：“这个问题不仅出现在医学领域，也出现在教育领域和科学领域。”

谷歌发言人表示，在许多情况下，当 AI Overviews 返回错误答案时，是因为网络上没有太多高质量的信息可供显示，或者是因为用户查询的东西与讽刺网站或搞笑帖子最匹配。

这位发言人表示，AI Overviews 在绝大多数情况下都提供了高质量的信息，许多错误案例都是针对不常见的查询。

其补充说，AI Overviews 在回复中包含有害、淫秽或其他不可接受内容的概率是 700 万分之一，即每 700 万个独特查询会导致一个糟糕的回复。

其还表示，会继续根据其内容政策删除某些查询的 AI Overviews。

尽管“披萨胶水”的错误很好地展示了 AI Overviews 如何指向不可靠来源，但该系统也可能从事实正确的来源产生错误信息。

美国新墨西哥州圣达菲研究所的人工智能研究员梅兰妮·米切尔（Melanie Mitchell）搜索了“美国有多少位穆斯林总统？”

AI Overviews 回应道：“美国有一位穆斯林总统，巴拉克·侯赛因·奥巴马（Barack Hussein Obama）。”

巴拉克·奥巴马不是穆斯林，因此 AI Overviews 的回应是错误的，但它是从一本名为《巴拉克·侯赛因·奥巴马：美国第一位穆斯林总统？》的书中提取到的信息。

因此，人工智能系统不仅没有抓住文章的全部要点，而且以与预期完全相反的方式对其进行了解释。

人工智能有几个问题；一个是找到一个不是玩笑的好的信息来源，另一个是正确地解释消息来源。

这是人工智能系统很难做到的事情，重要的是要注意，即使它得到了一个好的信息来源，它仍然会出错。

最终，我们会知道人工智能系统是不可靠的，只要它们使用概率逐字逐句地生成文本，就总会有出现“幻觉”的风险。

虽然随着谷歌做出调整，AI Overviews 可能会有所改进，但我们永远无法确定它是否会 100% 准确。

该公司表示，它正在为 AI Overviews 添加触发限制，如果对查询没有太多帮助的话，并为与健康相关的查询添加了额外的“触发改进”。

韦伯恩说，该公司可以在信息检索过程中增加一个步骤，用于标记有风险的查询，并让系统在这些情况下拒绝生成答案。

谷歌发言人表示，该公司的目标不是显示危险话题或脆弱状况的 AI Overviews。

从人类反馈中进行强化学习等技术，将这种反馈纳入大模型的训练中，也有助于提高其答案的质量。

同样，大模型可以针对无法回答的问题进行专门训练。在生成答案之前，让它们仔细评估检索到的文档的质量也很有用，因此正确的指导很有帮助。

尽管谷歌在 AI Overviews 的答案中添加了一个标签，上面写着“生成式人工智能是实验性的”，但它应该考虑让人们更清楚地知道该功能正在测试中，并强调它还没有准备好提供完全可靠的答案。

“它现在还是测试版，而且还会持续一段时间，在它不再是测试版之前，它应该是一个选项，而不应该作为核心搜索的一部分强加给用户。”沙阿说。

支持：Ren

排版：希幔