“基本功能都实现了”
“有chatgpt那味儿”
“一本正经地胡说八道”……
为致敬《流浪地球2》而取名moss的复旦版chatgpt“火”了，大量内测申请、采访、投资、合作邀约扑面而来。
项目开发者——复旦大学计算机科学技术学院邱锡鹏团队，对此有点出乎意料。
邱锡鹏把moss比作一个“聪明的小孩”，已展示出成为通用人工智能（agi）大框架的潜能，即便现在还不擅长写诗、解题，但也在逐步的学习和升级中。
实际上，邱锡鹏也让6岁的女儿和moss聊天，发现小朋友可以愉快地和moss对话很长时间。
当下，邱锡鹏与他的moss团队——8位年轻的复旦学生——正在紧锣密鼓地开展内测和优化。
预计3月底，新模型将优化完成，后期将逐步对社会开放，研究成果也将会开源（即开放源代码和模型参数）。
通向“通用人工智能”的崭新路径
尽管moss在参数规模上和chatgpt相比小一个量级，但已经展示了一条通向“通用人工智能”的崭新路径。
moss可以完成自然语言处理领域的绝大部分任务，包括机器翻译、信息抽取、纠错等，还可以在学习使用外部工具后，与外部世界进行交互，进行创作。
“开发moss模型，是想在百亿规模参数上探索和验证chatgpt的技术路线，证明我们在技术实现上并不落后于国外。”据邱锡鹏介绍，从2021年起，他的团队就开始做中文生成式预训练模型，也开源供别人下载，每月平均有上万次下载。去年，意识到大型语言模型会成为将来的基座，团队开始着手做大型语言模型方面的训练，随后又开始研究如何使大型语言模型理解人类指令以及具备对话能力。
当然，moss模型的目标不止于追求和chatgpt能力相近。邱锡鹏说，moss的定位是自然语言处理领域乃至是通用人工智能领域最前沿的探索。与chatgpt更看重落地性能不同，而我们更看重moss的下一代发展，即如何实现通用人工智能。
有限资源下做出的类chatgpt
但是，作为学术研究型实验室，moss的服务器资源相对有限。
2月20日晚，moss冲上微博热搜后，服务器瞬时访问量达到上千万，一度导致网络崩溃。
目前，moss服务器的最大容纳人数在几万左右，研究团队会随机选择报名用户发送内测邀请码。
当然，与chatgpt最大差距还有参数规模。chatgpt的参数量多达1750亿个，而moss的参数量大约是前者的1/10左右。
“我们认为在这个参数级别上，这些模型也能涌现出一定的智能能力，我们也能赋予它们对话的能力，实验结果证实了我们的猜想。”邱锡鹏坦言，“我们选择百亿规模这样级别的参数，是因为学术界主要是做一些探索性的技术，这个规模也在财力物力承受范围之内。”
除此之外，在迭代能力方面，moss与chatgpt也存在着较大差异。
用户量越大，交互数据越多，模型的迭代能力就越强。参数规模、用户交互数据体量上的巨大差异，导致了与chatgpt相比，moss在事实类知识储备上稍显不足。
但在邱锡鹏看来，moss的理解能力、学习能力以及思维能力，表现其实还不错。
目标中文大型语言模型
但是，小也有小的好处，moss的特点是容易适应个性化需求，如果接入外部知识库，增加搜索特定领域资源的能力，就可以精准地为各行各业赋能。
不过，当前的moss，中文水平还存在明显不足，研发团队已经开始构造高质量中文数据库。
“chatgpt模型并不向中国内地开放，而且国外开发者不可能以中文为主去发展他们的模型。”邱锡鹏说，中国要想站在大型语言模型或者将来的通用人工智能等技术的最前沿，就必须要建设自己的语言模型基座。我们相信moss将来一定会具有很好的中文理解能力和生成能力，我们的目标是打造一个具有中国特色的中文大型语言模型。
更高质量的中文数据、更多的交互数据、更大的参数规模，是未来moss优化的重点。
邱锡鹏透露，团队将把研究成果无偿地分享给学术界，并在规范使用的前提下开放给业界，让更多企业可以个性化应用。
研发顺利的话，moss将会在3月底左右开源。
从科幻片的一个角色，到真实存在的中文大型语言模型，在邱锡鹏眼中，moss可以说是理想照进了现实。
他认为，未来5到10年，我们会像现在接受搜索引擎一样，接受通用人工智能。
撰稿：白羽 通讯员 殷梦昊 许文嫣
摄影：戚心茹 寸菲
上观号作者：第一教育
暂无评论内容