今天分享的是:大模型专题:2024年度中文大模型阶段性进展评估
报告共计:59页
《2024年度中文大模型阶段性进展评估》由SuperCLUE团队发布,对国内外大模型进行了测评和分析。
- 国内大模型关键进展及趋势:自2022年11月ChatGPT发布以来,国内大模型经历了准备期、成长期和爆发期,目前已形成百模大战的竞争态势,国内外大模型在中文领域的通用能力差距持续缩小。
- SuperCLUE通用能力测评:采用多维度、多层次的综合性测评方案,由理科、文科和Hard三大维度构成。GPT - 4o领跑,国内大模型Qwen2 - 72B - Instruct表现优异,国内大模型形成三大梯队,开源模型有超出闭源模型的趋势。各任务中,GPT - 4o在理科和Hard任务上优势明显,Qwen2 - 72B在文科任务上表现出色。
- SuperCLUE多模态能力测评:包括AIGVBench视频生成测评、SuperCLUE - Image文生图测评和SuperCLUE - V多模态理解测评,评估了大模型在视频生成、图像生成和多模态理解方面的能力。
- SuperCLUE专项与行业基准测评:涵盖了数学多步推理、代码助手、检索增强生成等专项基准,以及汽车、金融、工业等行业基准,还包括琅琊榜竞技场,展示了大模型在不同领域的表现和性价比。
- 优秀模型案例介绍:介绍了Qwen2 - 72B - Instruct、SenseChat5.0、山海大模型4.0、AndesGPT和GLM - 4 - 0520等优秀模型的特点和适用场景,这些模型在不同方面表现出色,具有较强的竞争力。
总之,该报告全面评估了中文大模型的能力,为大模型的发展和应用提供了参考。
以下为报告节选内容