然而，测试结果却令人震惊——这些顶尖的AI模型在大多数任务中的表现，几乎与随机猜测无异，准确率和随机选择的50%差不多，无疑暴露了多模态大模型在音频感知上的巨大短板。

AV-Odyssey Bench:全面评估多模态大模型的视听能力

为了更全面地评估AI在视听能力上的表现，研究团队还推出了一个全新的评估基准——AV-Odyssey。

AV-Odyssey包含26个任务，覆盖了7种声音属性——音色、语调、旋律、空间感知、时序、幻觉、综合感知，并且跨越了10个不同领域，确保测试的深度和广度。

为了确保评估的稳健性和公正性，所有任务均采用四选一的多项选择题形式，每个问题都融合了视觉、听觉等多模态信息，全面考察模型的综合处理能力。

此外，为了避免因输入顺序或格式导致的偏差，所有输入（包括文本、图片/视频和音频片段）都会以交错的方式输入到多模态大模型中。问题的形式如下图所示:

AV-Odyssey中包含了由人类专家全新标注的4555个问题，确保题目没有在其他任何数据集中出现过，任务分布以及统计信息如下面图表所示:

同时，为了进一步控制质量，研究团队利用5个视觉语言模型和4个音频大语言模型，过滤出包含冗余图像或音频片段的问题。

在这个过程中，2.54%的问题同时被所有视觉语言模型或所有音频大语言模型解决，研究团队去除了这些问题。

AV-Odyssey的挑战性:

大多数现有的多模态大语言模型平均表现仅略高于25%，这与四选一问题的随机猜测准确率相当。值得注意的是，即使是AV-Odyssey中的表现最佳的模型——GPT-4o，也仅取得了34.5%的准确率。

这一结果凸显了AV-Odyssey所带来的高挑战性，远远超出了当前模型训练数据的分布范围。

通过设定严格的标准，AV-Odyssey基准测试为评估多模态大模型在音频视觉任务中的能力提供了一个重要工具，突显了现有模型的局限性，并为未来的改进指明了方向。

开源多模态大模型训练的局限性:

同时，即便OneLLM、Unified-IO-2、VideoLLaMA2和NExT-GPT 通过引入Audiocaps等音频-文本匹配数据集，尝试增强音频理解能力，并结合图像-文本配对数据训练视觉理解，这些模型在AV-Odyssey的测试中仍然表现不佳。

这表明，目前的训练流程并不足以真正弥合音频与视觉模态之间的鸿沟，也未能有效地学习音视频信息的整合与深度理解。

AV-Odyssey 错误分析:音频感知仍是瓶颈

研究团队对Gemini1.5Pro在AV-Odyssey中的错误进行深入分析，对每个任务随机抽取了4个错误案例进行人工标注，最终得到104个错误案例，并对其进行统计。错误的分布如下图所示: