本文来自微信公众号:刘言飞语 (ID:liufeinotes),作者:刘飞Lufy,头图来自:视觉中国


在针对单个问题回答时,文心一言是表现不错的。不过有朋友提出了质疑:


第一个是:如果按照同样的问题,在百度搜索上检索也能得到,那这个是不是意义就小多了?


第二个是:文心一言似乎对上下文的理解很差。或者说,它只是在车轱辘话,很少看到真正的“生成式内容”。


这也许延伸到了另一个猜测。


我们先说这两个问题的体现。


一、内容照搬问题


在昨天的文章里我测试过这么个问题《问了文心一言 40 个问题》



当时看起来是很满意的。


如果去搜索引擎搜,会发现这个话题有很多完整的文章论述了。



其中每个文章的论述论点都有点类似:



更像是以“文章”或者“文章段落”为单位来整理总结的,并非是 GPT 的生成式模型(这个区别后面说)


有朋友也提出了破绽。文心一言(包括 ChatGPT)都是用很平铺直叙的说法,很少用俗语,但这篇回答里出现的描述,更像是照搬,而不是生成的:




包括错别字都照搬了:



所以有理由怀疑这篇回答就是围绕少数文章拼凑的,甚至单篇文章薅出来的。


不过我没找到是具体哪篇,如果有朋友搜出来了,欢迎分享。


还有类似的案例,能看得出来文心一言更围绕大篇幅的人的创作,但 GPT 模型更像是自主生成的表达。


这个就像是摘自减肥的建议帖子:



对比 GPT-3.5:



再比如这个,很像是两性咨询板块爬的某个帖子:



对比 GPT-3.5:



二、上下文理解问题


虽说之前我把单个对话的体验形容是接近 GPT-3.5 的效果,但真正做上下文对话,可能确实就拉胯了许多,不如 GPT-3。


首先,角色扮演文字游戏这种,是根本玩不了的,它会严重误解提的要求:





这是 GPT-4 的效果:



这个貌似要求更高了,我们试一下 ChatGPT 刚出来时很多人沉浸的写小说:






可以看出它基本上不记得三句话之前的故事设定了,比如它说的赫敏是猫头鹰,后面又根据原著内容否认了这一点。而表述的内容看起来,主要还是围绕原著,不是围绕新的故事。


这一个例子更有代表性——帮忙写周报:



让它补充了细节,这一步为止还不错:



这一句就完全不理解了。而且很明显无视了刚刚发生的两段对话,没有提按钮的事儿了。



接下来,始终无法理解:




这是 GPT-3.5 模型下的效果(不是最新的 GPT-4)





三、一个猜测


通过这两方面的表现,我们可以做出一个猜测:文心的大模型不是完全复刻的 GPT 的模式。


什么是 GPT 的模式呢?


GPT 的生成式模型是把所有语料都掰开揉碎了,拆成 tokens(可以非常粗略理解为一个单词),然后形成一套百亿规模量级参数的模型。这个模型里,每个 tokens 都有自己的特征值表,类似这样:



而每次生成,可以粗略理解就是把全部上下文利用 Transformer 算法整合,来预测接下来的一个 token。是的,ChatGPT 一个词一个词蹦出来,并不是交互效果,它确实是对每个 token 进行百亿次的检索计算,从左向右预测出来的。


(以上参考了科学搜索引擎 WolframAlpha 的作者 Stephen Wolfram 写过的一篇文章,推荐各位去阅读。)


这样意味着它几乎不会受单篇文章的影响,因为掰得足够碎了。


而文心一言给人的感觉是,逻辑上并不是这么简洁的,很可能也加入了很多中间层的处理,也就是把文章里完整的词组、句子甚至段落也当成了可检索的对象,并且直出了。这样当然能一方面提升训练和计算的效率,另一方面也能提升答案的准确性(毕竟是人写的),可是这大大降低了灵活性,甚至可以说会丧失生成式模型原本接近 AGI 效果的根本价值。


在一些百度内部朋友提供的间接信息里,也提到了由于路线完全不同,百度的模型不大可能直接模仿 OpenAI 去做,要使得效果更好,就必须先使用了过往成熟的模块,这样会有拼凑感,但至少能做出 demo 来了。


还有一个很有力的证据——文心一言连最近发生的事情,都知道得一清二楚:




我同时找到了一篇文章,文心一言几乎是照抄的一篇百家号:




可以说,它至少有个模块是专门做互联网网页检索的。这个模块的内容,是独立运作的,伪装成大模型的结果;还是跟底层的大模型真正有什么交互关系,并不清楚。


但这显然跟 GPT 模型的思路不同。GPT 模型不联网就可以做生成内容,目前的 GPT-4 也是一年多之前就在调试和优化的模型了,使用的语料就是大半年之前的。或者反过来说,哪怕联网的话,底层大模型是不大可能按天为周期去反复计算更新的;New Bing 和 Office 的 Copilot 也主要是调用它的理解能力,而非输入内容到大模型里面去改变参数。


GPT-4 模型坦陈它的资料是一年半之前的:



不过 GPT 同样给出了推理,逻辑很清楚。这么对比的话,一个是检索网页信息,一个是做推理,孰轻孰重啊。


四、写在最后


文心一言是目前国内仅有的自建的有可用性的大模型,我们还是要给更多期待。不过在进一步体验之后,不得不说它确实没有达到 ChatGPT(基于 GPT 3)的水准,更多感受是利用百度原有的产品体系在拼凑结果。文心一言更像是一个加强版的搜索引擎,而不是一个处理各种问题、具备推理能力和上下文理解能力的 LLM。


我是相信百度本来有实力做出 LLM 的,若说国内在 NLP 领域企业界的资源和能力,百度做不出来别人更难。不过如今这个选择,不管是开发布会还是以这么早期的版本就推出,看起来很像是在商业驱动和市场驱动下着急推动的项目。


我们还是乐观一些,期待百度能尽快解决这些问题吧。都说古典产品要复兴了,国内要没有大模型,还复兴个鬼了。


本文来自微信公众号:刘言飞语 (ID:liufeinotes),作者:刘飞Lufy