侯树文 科技日报记者王春

最近上热搜的MOSS，不是《流浪地球2》中量子计算机550W给自己起的新名字，而是复旦大学计算机科学技术学院教授邱锡鹏团队最新发布的国内第一个对话式大型语言模型，也被称作中国版ChatGPT。

2月20日，MOSS悄然上线，邱锡鹏团队发布至公开平台（https://moss.fastnlp.top/），邀公众参与内测。然而由于瞬时访咨询火爆，计算资源无法支撑，内测窗口已暂时关闭。

悄然上线，又匆匆关闭，MOSS这一“快闪”的举动，让它的亮相饱受争议。

科技日报记者在扫瞄器上输入公开平台的网址，其中对MOSS如此介绍：一种像ChatGPT的对话语言模型。MOSS可以按照用户的指示执行各种自然语言任务，包括咨询答、生成文本、总结文本、生成代码等。MOSS还可以挑战不正确的前提，同时拒绝不适当的请求。

那么相关于美国OpenAI的ChatGPT，中国的MOSS有何非常之处呢？记者在主页看到了如此的介绍：MOSS和ChatGPT的区别——如MOSS的参数量比ChatGPT少得多；MOSS经过与人类和其他AI模型交谈来学习，而ChatGPT是使用来自人类反馈的强化学习（RLHF）进行培训；MOSS将是开源的，以促进将来的研究，但ChatGPT可能不是如此。

据介绍，MOSS开辟的基本步骤与ChatGPT一样，包括自然语言模型的基座训练、理解人类意图的对话能力训练两个时期。作为MOSS要紧作者之一，邱锡鹏表示：“MOSS与ChatGPT的差距要紧在自然语言模型基座预训练那个时期。MOSS的参数量比ChatGPT小一个数量级，在任务完成度和知识储备量上，还有很大提升空间。”

ChatGPT语言模型的参数量高达1750亿，而在它咨询世前，世界上最大的语言模型是微软开辟的Turing-NLG，其参数量为170亿。自去年11月30日正式发布以来，ChatGPT上线5天，注册用户就突破百万。目前，其用户规模已达到1亿，成为互联网进展史上用户增长最快的消费级应用。

在关闭内测之后，MOSS官网发布公告称，MOSS依然一个特别不成熟的模型，距离ChatGPT还有很长的路要走。“我们是一个进行学术研究的实验室，无法做出和ChatGPT能力相近的模型。”科研团队相关负责人指出，当前版本的MOSS表现不够稳定，部分回答或存在事实差错、逻辑不顺等咨询题。不仅这样，MOSS的英文回答水平较中文回答水平更高，这要紧受到其模型基座的单词收录量妨碍，MOSS学习了3000多亿个英文单词，但中文词语只学了约300亿个。

复旦大学计算机科学技术学院教授张奇是推出MOSS的复旦大学NLP实验室核心成员之一。关于ChatGPT背后模型所拥有的1750亿的参数规模，他在一次公开讨论中表示，学校这类机构很难去完成，目前百亿级的规模都差不多特别困难。

按照ChatGPT目前开源的最简单复现版本、最便宜模式去计算，要做到1750亿的参数规模，需要似乎6000万元的硬件成本，并且运算3.5个月。这依然所有情况都做对的事情，如中间有参数调整，或者想加速训练过程，就需要更高规模的投资。

归根到底依然研发投入的咨询题。而除了学术界，国内科技企业也纷纷摩拳擦掌开辟自己的ChatGPT：原美团联合创始人王慧文近日明确表示，要“组队拥抱新时代，打造中国OpenAI”；百度此前宣布将在3月上线百度版ChatGPT——文心一言（英文名为ERNIEBot）；阿里达摩院正在研发类ChatGPT的对话机器人，目前已开放给公司内职员测试；科大讯飞也表示，Al学习机将成为公司类ChatGPT技术领先落地的产品……

来源：中国科技网