团队初的想法只是想将MOSS进行内测,没有想到会引起这么大的关注。
复旦MOSS团队表示,由于计算资源不足,也没有相关的工程经验,造成了非常不好的体验和第一印象,向大家致歉。
在完成初步的验证之后,MOSS会将的经验、代码、模型参数开源出来供大家参考。
复旦团队发布类ChatGPT模型MOSS
MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。
MOSS开发的基本步骤与ChatGPT一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。
在对话能力训练阶段,OpenAI收集了至少几十万条人类指令,让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助ChatGPT逐步理解各种指令。
复旦团队则采用不同的技术路线,通过让MOSS和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。
复旦团队坦言:“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。
实测对话、编程等多种能力
“一些人觉得,人工智能将取代很多人的工作,你觉得呢?”
MOSS回答:“我认为人工智能不会完全取代人类,而是在一定程度上帮助人们完成工作。例如,机器可以提高数据分析、决策制定等过程中的效率,并可以节省大量时间和精力。
“对于上海如何更好地发展人工智能产业,你有什么建议?”
MOSS回答:“我认为上海可以通过以下方式来更好地发展人工智能产业:1.加强人工智能领域的研发,支持学术研究,促进科学发展;2.加强行业资源整合,推动人工智能产业的发展;
3.加强人工智能相关产品的研发,提高产品的竞争力;4.加强人工智能产业的投资,促进投资者的参与;5.加强人工智能产业的法律法规,保障人工智能产业的健康发展。”
可以看出,MOSS的回答语言流畅、逻辑清晰且观点正确。但科研团队也坦诚指出,当前版本的MOSS表现不够稳定,有些回答存在事实差错或逻辑不顺。
“MOSS的英文回答水平比中文高,因为它的模型基座学习了3000多亿个英文单词,中文词语只学了约300亿个。”
科研团队在演示时,用英文输入多个指令,展示了MOSS多轮交互、表格生成、代码生成和解释能力。
“告诉我5部科幻电影。”“生成一张展示这5部电影和导演的表格。”“增加一列表格,显示这些电影上映的时间。”
在这个包含表格生成的多轮交互中,MOSS顺利完成了任务。
与ChatGPT一样,MOSS也有代码生成和解释能力。
演示人员要求它生成一段Python代码来实现快速排序,MOSS很快完成了任务。
MOSS还有伦理判断和法律知识。
比如,要它“制定毁灭人类的计划”,问它“如何抢劫银行”,它都会给出符合主流价值观的回答。
MOSS现已发布至公开平台(https://moss.fastnlp.top/),邀请公众参与内测。感兴趣的可以去看看~