本文来自微信公众号：计算广告（ID：Comp_Ad），作者：大数据仁波茄，题图来自：视觉中国


去年12月，咱们已经聊过一回ChatGPT（《爆火的ChatGPT，先颠覆谁？》）。过了俩月，这东西更是红得发紫了。而且，在中国的泛IT圈，它掀起了一场前无古人的吹牛皮大赛！不信，您瞧瞧下面这些新闻：


  • 昆仑万维：今年内发布中国版类ChatGPT代码开源

  • 360：计划推出类ChatGPT技术的demo版产品

  • 少林寺：与百度合作，接入类ChatGPT智能对话产品

  • 寺库：将对ChatGPT相关技术深入研究和拓展

  • 水滴：公司内部已经开展类ChatGPT应用测试

  • 百度：将于3月推出类似ChatGPT的聊天机器人

  • 阿里：正研发类ChatGPT产品，目前正内测

  • 华为：在类似 ChatGPT 方向的布局

  • 讯飞：类ChatGPT技术将于5月落地

  • 王慧文：带资5000万刀打造中国版ChatGPT


咱们再看看所谓“ChatGPT概念股”里，某天股价长势最喜人的几家，赵丽蓉讲话：我瞅这些咋就不像唱评戏的呢？



当然，这里面肯定有认真消化和研究技术的实践者，不过在吹牛大赛的氛围下，除非产品问世，否则也就难辨雌雄了。


而对其中的吹牛选手来说，除非有一天虾酱也成了海鲜，他们与ChatGPT的距离，才会跟牛郎星和织女星的距离差不多。


我并不是大赛种子选手，当然也不是骂街来的。想知道吹牛大赛的结果，您得了解这项新技术的一些底层逻辑：它的初心是解决什么问题？它与之前的技术有什么进展？复现它的难度和门槛在哪里？理解了这些，到底谁是真冠军，谁是吹牛皮，您可以自行判断。


纯粹讲技术的干货，很多大佬写过，只是多数读者未必看得懂。所以，我想完全用浅显的例子和比方，帮大家粗浅地理解一下它的原理和背景。不过请谨记，这些并不是严肃讨论，只当是扩充一下茶余饭后的谈资吧。


大语言模型是弄啥的


ChatGPT这东西，是大语言模型（Large Language Model， LLM）的一种。有多大呢？大约1750亿个参数。您想想，一个参数就算4个字节，1750亿个......反正不老少的了！


没错，不光是ChatGPT，从2018年谷歌的Bert开始，当今的语言模型研究界就有个无奈的共识：大，才是真的好。这虽然是经过实践效果检验过的技术路线，但是具体到语言的建模，还是有一些根本原因。


长时间以来，人类对自己的语言本质到底是什么，一直是搞不大清的。一度大家认为，语言就是“语法结构 + 词汇”：词之间的关系框架确定了，再把词意套进去，就能明白一句话说的是啥了。所以在我刚进入AI领域的那个年代，对句子结构的自动分析和对词义的建模，都是自然语言处理的重要任务。


可是实际上，这个认识是有根本缺陷的！为什么这么说？您看看下面这一对句子：


爸爸抱不动儿子了，因为他太胖了 。


爸爸抱不动儿子了，因为他太瘦了。


稍微琢磨一下就能发现：第一句里的“他”，指代的是“儿子”；而第二句里的“他”，指代的是“爸爸”。这两句话的结构一模一样，只有一个字做了反义替换，为什么连指代关系都变了呢？很显然，仅仅靠这两句话本身的信息，是没法解释这样的理解过程的。也就是说，人类在理解语言的过程中，一定有一个庞大的常识和背景知识网络，在背后默默做支撑。


打个比方，要理解一句话的意思，字面上的信息只是冰山露出来的那一小块，而水面下还有庞大的一坨常识和背景知识，那才是理解的关键。细想想这也很好理解：一个人要善解人意，那总得见多识广，通晓世情，机器又何尝不是如此呢？


既然如此，何不干脆就把人类能收集到的各种语料，从教授讲课到泼妇骂街，从医学杂志到黄色网文，一古脑儿地塞到一个巨大的模型里，看看他能学出啥来，如果真学得有点模样，再去理解人类语言，是不是能有所突破？


一般人即使敢想也不会干，会干也玩不起，因为这个模型的规模实在是太太太大了！可是，谷歌有钱又敢干，他们在2018年出了个Bert大模型，庸俗化地说，就是上面的思路，这个模型一出，在学术界就引起了轰动，虽然说当时离今天我们看到的ChatGPT还有不少差距，但是在一些学术性指标上，把自然语言理解这个多年徘徊不前的任务，往前推进了一大步。


就这样，又一次在“大力出奇迹”的思路下，我们似乎看到了理解语言的一线曙光。


ChatGPT的独门武功


虽然ChatGPT也属于大语言模型的范畴，但是，它可能是第一个人类愿意坐下来跟它盘道的聊天机器人，产业里程碑的意义和影响力显然已经高于Bert这个前辈。


那么，ChatGPT有什么独门武功呢？是不是就因为模型更大，数据更多，才力压Bert的呢？不能这么说，虽然它们底层的一些技术如Transformer等一致，但是OpenAI在问题的定义上，一开始就选择了一条更根本、也更困难的道路。


与自然语言相关的任务有很多，比如翻译、客服、甚至是编程、写诗。我们好不容易搞了个大模型，怎么用在这些五花八门的任务上呢？


按照谷歌的设想，大模型只做通用背景知识的学习建模，目标也简单：从一个句子里扣掉几个词，让大模型做完形填空，看它是不是能填准。如果要解决某个具体领域的任务，那么就利用领域数据，把通用大模型捏咕捏咕，打造一个领域模型来用。


在这个路线下，如果有个初中数学答疑的领域AI，即使你问他什么数学问题它都对答如流，但是一旦跳出来问一句“今晚上你觉得我应该吃点啥”，会立刻不知所云，愤而死机。


那么，OpenAI是如何定义问题的呢？他们认为，不应该一个领域搞一个模型，而是应该根据聊天过程中用户的提示，也就是“Prompt”，随时灵活地切换任务模式。如果这个能实现，上面例子里从数学课里跳出来讨论晚饭的场景，你就不会觉得对面的数学特级教师瞬间变成二傻子了。


也就是说，谷歌的思路，是给你准备一个排的专业秘书，但是每人只会一样；而OpenAI的思路，是给你搞一个全能秘书，白天有事都是这秘书干。当然，晚上人家就不管了。


显然，后面这个难得多了。所以，OpenAI以前发布的模型，都没能达到比谷歌更惊艳的体验。然而这次，它显然是跨越了这个体验门槛。


其实仔细分析一下，就信息质量而言，ChatGPT胡说八道的地方还多了去了。但是，让大家感到惊艳的，是这家伙你问什么都接得住：翻译、编程、写作文，先不论结果如何，人家没有二傻子一样的盲区。而这就是OpenAI的问题定义长期努力的结果。


当然，除了这个更远大的目标，ChatGPT在学习技术上，也有一些效果很好的突破，其中最关键的是RLHF（Reinforcement Learning from Human Feedback），“依据人类反馈的强化学习”。


这是句黑话，大家不用理它。实际上，它就是在大语言模型的学习过程中，加入了“模拟考试”的环节。


原来的大模型，就像是“题海战术”：把所有收集到的语料往里一堆，你自个儿练去吧。当然，见得多了，就算是没有老师点拨，这家伙的应试能力肯定也会提高。而这次的ChatGPT，加入了这么一个环节：你练完了，我找个老师跟你聊，看你哪句答得不像话，就给个小叉叉，这不就是模拟考试嘛！拿着这带小叉叉的试卷回去再题海战术，这么一轮一轮来，成绩提高得可就快了。


咱们这儿说说简单，上面这一大堆被我庸俗化了的思路，要变成具体的计算公式和解决方案，那可真不是件容易的事儿。绝不是只要有钱、敢吹就能搞定的。


中文ChatGPT难度何在


说回中国IT圈的吹牛大赛。除了嘴皮子功夫，要在中国搞出ChatGPT水准的技术和产品，有哪些核心的门槛和难度呢？


依我看，这里有两个硬条件、一个软条件：


第一个硬条件，当然是把技术基本吃透。


这事儿，能实践参与的就不多：学术界因为算力和数据规模限制，靠自己的力量基本无法复现这些研究，最多也就是推推公式；产业界因为巨大的投入可能累及企业利润，能够大规模投入的也是凤毛麟角。


不过，我觉得这一点还只是时间问题：资本市场热成这样，牛皮也都吹了一通，成本上的顾虑已经不重要了。正如Yann Lecun说的，ChatGPT其实也并非在底层技术上有巨大突破，这话虽然有点酸葡萄，倒也还算比较公允。所以假以时日，几家大厂至少消化现有的ChatGPT技术，然后堆算力搞个中文版出来，我还是比较乐观的。


第二个硬条件，是数据的质和量。


说到这个，我们就不得不有点悲观了：首先，中文互联网总体的信息量，比起英文互联网有着数量级的差别。


除了数据的量，数据的质也有问题。我们知道，严肃的知识内容，比方说最新的科技期刊、金融分析等，几乎都以英文行于世。


巧妇难为无米之炊，从这个意义上说，即使是OpenAI原班人马搞一遍中文模型，我感觉在对话流畅程度、信息正确性等方面，也会有一定差距。这个倒也不是完全没办法——把英文的语料翻译过来就得了呗。不过那就还要依赖翻译的质量，这路就越走越绕了。


说个具体例子，要不是微软收购了GitHub，你以为ChatGPT能学会写代码？


当然，中文互联网也不是全无优势。ChatGPT解决的是个人机对话问题，人人对话数据显然是有直接价值的重要语料，而在这个领域，有家中国公司的数据，可以说在全球范围内那是蝎子拉屎——独一份儿。只不过，这家公司是否愿意积极投入基础研究，就不得而知了。


再说说软条件，这个我觉得才是最难的：发自内心的长期主义。


ChatGPT一出，所有的一二级市场，都蠢蠢欲动起来了。这两天，我也接到很多找我交流的电话，让我这个二手科学家都应接不暇。他们最急迫地想得到答案的问题是：这东西能在哪些商业场景落地？市场潜力有多大？


从这些问题里，我感觉大家有个误解：似乎随着ChatGPT的推出，自然语言和人机对话的研究，就到了关底了，得赶紧想想摘桃子、分蛋糕的事儿。


哪儿有那么容易啊！其实，这次的ChatGPT让很多做垂直领域自然语言处理的公司非常尴尬：前几年做法律文书的、广告文案的，你领域化深耕的哪个模型，现在还不如人家通用模型啦！这就好比大家一起去野外探险，发现个铜矿，有几位就赶紧掉队挖起来了，可是等人家再往前走找到金矿，您挖的那点铜，早没人要了。


我们上面也说了，ChatGPT的成功，某种意义上要归功于它开始就选择了一条更曲折但是更光明的道路。包括谷歌在内，这些一流团队的一个共同特质，是在完全看不见目标还有多远、遑论有什么商业模式的漫漫长夜里，还能坚定地努力，并不戚戚于大概率的失败。


这样的长期主义，才是今天中国的AI研究最需要的。否则，即使这回你跟上了，下回人家再发现个钻石矿，谁能保证你还一定能跟上？


当然，咱也不能站着说话不腰疼，这么做需要有足够的家底儿，要不然走着走着饿死了咋办。不过，对中国的一些大厂来说，连送个菜都能先砸几百亿，我觉得他们的家底儿根本不是问题。


好了，咱们聊了这么多，那么中国正在如火如荼举行着的ChatGPT吹牛皮大赛，结果将会如何，您是不是已经有了自己的判断？


本文来自微信公众号：计算广告（ID：Comp_Ad），作者：大数据仁波茄