至2022年AI爆发后,在中国已催生了上千个AI产品。
这些产品涵盖了从头部大厂到高等院校,再到初创企业的广泛阵容。
如:
到这里有个问题就浮现了,应该选择哪个AI,哪个AI适合自己?
这里是清华SuperBench的测评数据
类似这样的测评报告互联网上已经很多,真正哪个合适自己还是自己尝试一下
以下是个人的一些经验分享让大家少走些路,仅供参考一下:
目前在国际上顶端的还是gpt4与claude 3,国内主要就是文心4与清华GLM-4。
在国内选择的话:
前期文心一言3.5的表现的确是很差,可以对比自己之前问的问题,差别是非常大的。之前胡说八道的回答还是比较多的,现在比如增加了联网搜索等功能,可以说文心一言已经迭代级了很多。
这里我选择其中的5个AI产品进行对比
在信息更新程度来说通义千问与豆包的表现非常好,当然这个测试还是比较片面的,大家可以在遇到其它时效性问题时也进行对比一下。
以下是具体的对比情况:
2024年福建高考录取分数线?
此问题是在2024年06月24日16时26分公布的,问题是在公布后5分钟左右内问的
目前国内关注性最高的应该就是高考分数线公布与填写高考志愿了。目前已经有几个省公布了高考分数线,刚才看了一下最近2024年06月24日16时26分福建省也公布了分数线,这是福建省教育考试院官方网截图。
我们来看看几款国内的AI产品的信息更新情况:
物理类431分,是不对的。
历史类453分,也是不对的,可以看到括号里的说明,它已经找到了正确的文章2分数是正确的,还找到文章3是错误的分数,然而最后AI判断后选择了错误的文章3的结果。
文心一言4.0能给出正确的答案,实时度非常的高。
通义千问输出的结果是对的,不但输出的2024年正确的结果,同时还给出了历年的分数线数据。
KIMI没有查询到福建省的高考录取分数线。
豆包也能正确的输出答案,同时也给出了近几年的录取分数线。
显然deepseek的知识库和以上的几款AI是不同的,它不是实时的它是截至2023年的知识库。
2024年上海高考录取分数线?
此问题是在2024年06月23日13时42分公布的,问题是在公布后1天后问的
看看上海的分数线,公布的比较早是2024年06月23日13时42分公布的,这是上海市教育考试院官方网截图。
只要是知识库是实时的,基本是对的
通过一张网络上流传的比较广的一张图
这张“不干了”的图片,看看AI们是如何解析它的
1)文心一言3.5
文心一言3.5支持上传word、pdf及图片格式的文件,上传图片后它可以解析出图片中木板上刻着“不幹了”字样,但无法给不出图片中描述的是哪些历史人物。
2)文心一言4.0
文心一言4.0也可以识别出木板上的文字,同时进了一步就是把繁体“不幹了”翻译成简体“不干了”。同样也无法给不出图片中描述的是哪些历史人物。
3)通义千问
识别出来的是“不辩了”,识别能力还是不行
4)KIMI
KIMI支持上传pdf、doc、xlsx、ppt、txt、图片等文件,没有识别出木板上的文字
5)豆包
豆包支持的文件类型:PDF、Docx、xlsx、txt、pptx、csv。所以我把图片放到docx里再上传给豆包。它可以识别出木板上的文字
6)Copilot
看完这些后或许得到的结论就是AI只能识别出木板上的文字,推理不出描述的是哪位历史人物,我们来看看微软的Copilot的回答。鲁迅终于出现了。。。。
生成以下要求的图片:
中国古代女子,女子有几缕青丝垂于耳畔,头上插着一支玉簪,簪头镶嵌着一颗小巧的珍珠,闪烁着温润的光泽。
1)文心一言3.5
2)文心一言4.0
3)通义千问
4)豆包
生成图片方面个人感觉还是豆包比较符合审美风格
以上都是一些非专业的对比,只是基于个人的使用体验。当然也有一些机构输出也专业的测试报告。
比如:这份《中文大模型能力评测榜单》综合能力得分为分类能力、信息抽取能力、阅读理解能力、数据分析能力四者得分的平均值。
其实可以看到不同机构输出的报告都有所不同,最终怎么样我们可以自己试试。
https://www.zhihu.com/question/658607807/answer/3549831881