查看原文
其他

一道电梯题,暴打国产大模型!

小黑羊 特大号 2024-03-15
下班的时候等电梯,无聊拍了一张图,于是拿来“调戏”下各家的大模型
我把这张照片PO给大模型,问了ta们这样一个问题↓

我在30层等电梯,图片描述了当前电梯的运行状态。

假设电梯每1秒钟可以上升或下降一层,不考虑开关门的时间,其他楼层也不存在乘坐电梯的人。那么,我最快要多久才能乘坐该电梯到达地面一层?

这个问题看似简单,实则一点也不复杂,主要考察大模型这几个知识点。
1、读图能力:能不能精准识别和理解图片内容。
2、NLP能力:能否准确理解我的问题,拆解语法并转化成任务。
3、逻辑和算术:需要基本逻辑和小学水平的算术能力,以便计算出正确的时间。
4、场景知识:需要了解电梯的运行原理。
5、综合推理:结合1、2、3、4来得出最终的正确答案。

废话不说,我们来看看考试结果吧↓

先上一个最近比较火的免费模型:智谱清言。

关注到它是因为我的一个朋友今年52岁了,今年利用智谱+ChatGPT4.0辅导考研,结果成功通过了全国研究生统考(398分)。

那么智谱清言在电梯考题中表现如何?

这个答案让我有点懵逼,直接忽略了我在30层的关键信息,给出14秒的错误答案。

看来,图+文的双重信息,给它造成了困扰。


再看第二个:讯飞星火

同样,读图和对题目的理解都不正确,这里面的核心是无法理解人乘坐电梯和电梯运行之间的关系。导致答题失败。


第三个,阿里系的通义千问

且不论答案正确与否,整个回答前后语言逻辑就不通,属于答非所问。

本来还想调戏下腾讯混元字节豆包,可惜这俩家伙现在还不支持「图片+文字」的混合式提问,没给我机会。

几个测下来,怎么说呢,都是一根筋,给人“一种大脑发育不完全,小脑完全不发育”的感觉。

不过,上面三个大模型都是免费的,既然是白嫖,那么咱不能要求太高

所以,来看看收费的文心一言怎么样↓

看完这个回答,怎么说,第一感觉是有点东西,似乎比别人多动了点脑子。但仔细一看,也不是太灵光。

首先读图理解不准确,电梯明明是在下行,小度却没有给出明确的判断。

接下来,持续加戏,把答案分成了两种情况,但答越多就错得越多。比如连从“30层下降到1层需要经过几层楼”这种基本常识都没搞清楚。

文心一言就像是个遇到了难题的考生:这题不会怎么办,把试卷写满,不管对不对,诚意在那里,给老师留个印象分吧。

讲真,我第一遍看答案的时候,看到满满一屏,差点被它蒙住了。

文心一言费用是59.9元每月,从答题结果看,这价格真不便宜。

玩到这里我有点不甘心,是不是这道题太难了,超过了当前大模型的能力?

于是,我决定再去调戏一下ChatGPT↓

这个答案还是非常令我吃惊,简明扼要,非常精准地给出了结论,楼层数的计算也没有出错。
接下来,我又追问了ChatGPT几个问题↓
这个问题是“为什么我在30层呼叫电梯,正在下行的电梯要先回到1层再返回30层”,ChatGPT给出了非常详实的判断依据。

然后我接着问一个电梯的运行常识,这个问题跟上面一个问题有相关性,ChatGPT的回答说明这家伙有非常丰富的场景化知识,很懂电梯呀,个人认为这种场景知识对AI的细分行业落地很有必要。


最后一问,那就是ChatGPT4为什么能做出正确判断?

所以,小小一个读图题,其实涉及到很多知识点,任何一个环节有短板,都会导致最后的错误判断。
而这其中,我认为最NB的还是综合推理。
最近,我也在不断试用前面那些国产大模型,按我的使用体验,如果询问一些单点问题、知识点,国产大模型都能回答得头头是道,甚至和ChatGPT没有太大差别。
比如我问通义千问、文心一言同样的电梯运行逻辑的问题,它们也能回答得滴水不漏。甚至很多偏门、晦涩的问题,也都可以有问必答。

【通义千问的回答↑】

【文心一言的回答↑】
可是,当需要他们把所有知识点串联起来,进行综合推理的时候,学霸和学渣的差距就出来了.
有人只会死记硬背,而ChatGPT却能够融会贯通、举一反三。

我并不是个“GPT吹”,过去一年,也确实能够看到国产大模型们在互卷中持续进步,更希望他们在这种“比学赶帮超”中,早日吊打GPT、Claude3们。

毕竟GPT4很贵(140块一个月),访问还很不方便、不稳定。而像Claude3这样的新贵,你想体验一下都很不容易。

比如我周末想试试号称吊打GPT4的Claude3,结果发现中国大陆和中国香港的账户是无法使用的。(当然像羊驼那些“老破小”模型,是不受限制的)

据说这个限制是Claude3母公司Anthropic的规定,类似的,微软copilot中国区用户也无法访问
高端算力不让你用,先进的AI应用也不让你用,真是无了个大语呀


崭新的「人工智能+」时代开启了!
国产大模型们,加油吧!


继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存