在ChatGPT出现之前,“AI替代人类”的想法一直被认为是AI公司们的“科幻”噱头。然而,看到了大语言模型涌现出的超强能力后,人们真的开始有点担心自己的“饭碗”了,尤其是程序员。
2024年3月,初创公司Cognition展示了该公司的一款AI编程工具Devin。Cognition将Devin描绘为“世上首位完全自主的AI软件工程师”。
Cognition的演示视频中,Devin在只接受自然语言指令的情况下,就能从零开始构建应用程序。Devin还在众包平台Upwork上完成了一个实际的任务订单,不仅完成了计算机视觉模型的代码编写和调试工作,还在任务结束时编制报告。
Cognition甚至在社交媒体平台发文称:Devin已通过一家领先AI公司的工程师面试。
至此,“开发AI的人,最先被AI取代”的言论在网络快速升温。
然而,就在几天前,一位自称有35年开发经验的美国工程师Carl在自己的YouTube账号Internet of Bugs上发布视频,称Devin的演示可能存在造假。
自称有35年开发经验的美国工程师Carl在YouTube发布视频,称Devin的演示可能存在造假
Devin可能只是在“演”程序员?
目前,Devin 还没有开放使用,只能通过邮箱提交申请,所以外界对Devin的认知,基本都来自官方给出的演示视频,以及少数第三方开发和产品人员的评价。
第三方评价中,热度较高的就包括彭博社在3月12日发布的一篇对Cognition AI公司,及其中几位华人创始人的报道。这篇报道中提到,记者使用Devin在5-10分钟内从头开始构建了一个网站。报道还引用了一名试用过Devin的计算机科学家Silas Alberti对Devin的较高评价。
虽然质疑Devin造价的博主Carl并未对Devin进行实际测试。但他通过对Cognition AI发布的Devin实操视频进行分析,提出了演示中的多处疑似造假内容,包括:
1.演示视频中,Devin的很多操作其实并未实际上理解或正确完成任务。Devin生成的报告没有包含客户实际所需的信息。
2.在修复错误代码的时候,Devin还出现了“没有可能制造困难也要上”的问题。Carl指出,Devin修复的一些代码,是“人类永远不会犯”的错误。因此这些错误很可能并非来自客户的代码库,而是Devin自己造成的。
3.在技术上,Devin的表现也不是很好。有时会采用过时的方法处理文件,在Python环境中执行不适当的操作,甚至编写自己的低级文件读取循环而不是正确使用标准库。
4.视频看起来Devin 很快就完成了任务,视频创建者能够在大约30分钟内完成所请求的任务,但聊天中的时间戳显示,该任务持续了多个小时,甚至持续到第二天。
虽然Carl认为Cognition在Devin的演示和实际操作中存在夸大的情况,但他也表示Devin在某些技术操作上表现出了令人印象深刻的能力。例如:Devin能够自动更新和配置文件,以匹配所需的库版本。他认为随着技术的进步,AI工具像Devin这样的AI工具一点能做到完全理解和执行更复杂编程任务。
人类仍是AI编程的关键?
目前Devin还未上线,其能力是否真如Demo一样强,其实真假难辨。
不过可以肯定的是,虽然AI的确能帮助人类编程,但主流观点仍不认为AI可以替代人类。
“AI远没有外界传闻的那么聪明,要理解业务逻辑都需要大量反复地沟通,别说干活了。”一位关注AI编程的开发者告诉虎嗅,目前很多程序员都在使用Copilot类的工具,但担心被快速替代的人并不多。
事实上,目前大型语言模型在工作中仍存在两个比较难解决的问题,一方面输入的信息不一定可以正确理解底层逻辑,可能需要与AI进行反复沟通。另一方面,AI输出的内容都很难避免错误和幻觉,在需要更严谨认真的工作中,没有人类的检查和监督,则会面临很大的风险。
“人类程序员写程序的时候,结果基本是一定的,要么好,要么差。但大模型来了以后,就不好说了。”支付宝CTO陈亮表示,AI写程序的结果存在很大不确定性,“他可以写得比你好,也可能比你差。”这就需要人类程序员想办法去控制它或者去影响它。
陈亮认为,虽然不能像以前写程序一样确定输出结果,但可以通过翻译、语料、数据等去影响他,让AI有更大概率提供好的结果。
在Cognition刚刚发布Devin演示视频时,前特斯拉AI技术总监、OpenAI联创Andrej Karpathy,曾在X上发文评价表示:
“在我看来,自动化软件工程看起来与自动驾驶类似。自动驾驶的发展是:
1.首先人类手动执行所有驾驶动作
2.然后AI帮助保持车道
3.看到前车能减速
4.它也会变道
5.它也会在标志/红绿灯处停下并轮流通过
6.最终你会得到一个功能完整的解决方案,并不断提高质量,直到实现完全自动驾驶。
在软件工程中,进展的情况类似。都是人工智能做得更多,人类做得更少,但仍然需要监督:
1. 首先人类手动编写代码
2. 然后GitHub Copilot自动完成几行
3. ChatGPT写入代码块
4. 转向越来越大的代码差异(例如Cursor copilot++风格)
5....
Andrej Karpathy认为,Devin是一个令人印象深刻的演示,可能会推动编码工具的进步,包括终端、浏览器、代码编辑器等,以及人类监督。
程序员的AI危机是什么?
虽然Devin可能代替不了人类,但很多人类岗位确实已经在被AI威胁了。
“AI不一定取代人,但会用AI的人一定取代不会用AI的人。”
2023年以来,AI工具对工作的重要性上升到了新高度。
陈亮介绍说,目前60%的蚂蚁程序员在写代码时都用上了Codefuse全站使用Codefuse的蚂蚁程序员写的代码中,约12%的代码是由Codefuse生成的。
宜创科技的创始人宜博则讲述了一个更生动的例子。
“2023年初,我要求公司所有程序员必须会用ChatGPT写代码,一个月时间学习并考核,考核后平均效率提升了3-5倍。我们最强的一个架构师的编程效率基本上是原来的5到10倍。”
宜博说,使用Copilot类工具以前,架构师要先把客户需求拿过来梳理清楚,然后再安排5到10个人帮他干活,他要告诉这些人:前端这个框架你来做。后端这个接口你来写。
“现在不需要这样了,架构师现在想清楚之后,文档里写清楚,直接可以用ChatGPT把它弄出来。”一个10个人的团队把一件事情讲清楚,再做好,检查清楚,可能要一个礼拜。现在这个时间可能不到一天,甚至就几个小时就完成了。
Devin无辜,罪在炒作
Devin将他的创作者Cognition推到了风口浪尖。这家成立于2023年底的公司,目前已经收到了来自知名机构Founders Fund等约2100万美元的投资。该公司种子轮估值约3.5亿美元,如今估值已达20亿美元。
如今,随着Devin的“世界首个AI软件工程师”称号被Carl质疑是不实宣传,Cognition恐怕要面临一场公关危机了。
对于”虚假宣传”,Carl批评AI产品的宣传往往缺乏透明度,不如实展示产品的实际能力和限制,从而误导了公众和专业人士。
在过去一年中,爆火AI的“虚假宣传”案例确实数见不鲜。
其中最有名的就是“Google发布Gemini的演示视频”。 Google在其最新AI大模型Gemini发布的演示视频中,展示了经验的多模态能力。但后来该公司承认视频实际上是经过剪辑的,使用了静态图像和文字提示,而非实时动态处理。视频中减少了延迟,简化了Gemini的输出。
就在不久前,亚马逊推出的一项"无需结账"技术(Just Walk Out),亦被指出是人工“伪装”的人工智能。有报道指出这项技术并非完全依赖先进的AI和计算机视觉,而是由超过1000名印度工作人员在手动审核顾客的购物行为,确保结账的准确性。不过,目前亚马逊已否认了这种说法,并声称这些工作人员主要是在训练模型,帮助改进技术。
更早的案例中,也曾有国内某知名AI公司,被指在某大会现场把人类同传翻译的内容伪装成AI翻译内容,打上公司产品Logo展示。
在指证Devin造假的视频中,Carl呼吁制造商、媒体和使用者都应对AI技术持有怀疑态度,并进行必要的核实。Carl认为,这种夸大其词的做法不仅误导了公众,还为AI技术设置了不切实际的期望。
一些网友也对Carl的观点表示支持。
rayhere7925认为:许多这样的科技初创企业只有一个目标:赚钱。他们如何获得资金?通过投资者和/或炒作。我敢肯定,这种夸张的演示以及随之而来的所有文章和影响者视频,一定说服了某些地方的投资者向这家公司注资——这正是这家公司的目标。如果这意味着可以赚更多的钱,公司会撒谎(如果他们能侥幸成功的话)。这家公司为了炒作和吸引投资者而撒谎也就不足为奇了。
Apexphp则认为:现代新闻业的问题在于,过去撰写技术文章的人通常对该领域有一定的了解,他们知道专业术语的含义,能够阅读自己写作领域的科学论文,并理解其中的大部分内容。但现在,我们只有一群按篇酬付费的人,他们在互联网上找到有趣的标题,然后简单写几句话,因为他们所在的公司支付的费用与他们为一篇撰写精良、经过深入研究的文章支付的费用相同,所以他们也就没必要多费心了。