AI21 Labs构建1780亿参数大语言模型,被认为是OpenAI最有力竞争者

原标题:AI21 Labs构建1780亿参数大语言模型,被认为是OpenAI最有力竞争者

目前,大量资金正在流入语言模型开发领域。语言模型是一种能够理解和生成文本的 AI 系统。近几年,该类模型是各大公司的一个关注焦点。像知名 AI 公司 OpenAI 研发的大语言模型 GPT-3 正被成千上万的开发人员使用。

根据 John Snow Labs 的一项调查:“60% 的技术领导者表示,与 2020 年相比,他们 2021 年在自然语言处理(NLP,Natural Language Processing)方面的预算至少增长了 10%;而有三分之一的技术领导者表示,他们的 NLP 预算至少增长了 30%。”

除 OpenAI、谷歌、Meta 等公司正加大语言模型的投入外,还有其他在企业或研究室正围绕 NLP 模型建立服务。

以色列公司 A21 Labs 开发了一个名为 Jurassic-1 Jumbo 的模型。该模型大小与 1750 亿参数的 GPT-3 类似。该公司还围绕 Jurassic-1 Jumbo 逐渐构建起一系列产品,包括一个名为 AI21 Studio 的“AI-as-a-service”平台。该平台允许客户创建虚拟助手、聊天机器人、内容审核工具等。

(来源:AI21 Labs)

值得一提的是,近日,A21 Labs 在 B 轮融资中筹集了 6400 万美元。考虑到当前经济形势,投资者的资金不像 2010 年代那样容易获得,该笔资金已非常可观。

据悉,此轮融资由投资公司 Ahren Innovation Capital Fund 牵头,视觉感知辅助驾驶开发公司 Mobileye 联合创始人兼 CEO 阿姆农·沙书亚(Amnon Shashua)、几家风险投资公司 Walden Catalyst、Pitango、TPY Capital 和亿万富翁企业家马克·莱斯利(Mark Leslie)参与。

截至目前,A21 Labs 的总资本筹集已超1.1亿美元。显然,投资者极为看好大语言模型的发展。

该公司的投资者并不是唯一认为大语言模型背后有一个大商业模式的人。例如,微软已经在 2019 年对 OpenAI 进行投资,金额约为 10 亿美元,并获得了 GPT-3 的独家许可。

可以说,NLP 模型领域的竞争正在升温。凭借 GPT-3 模型,OpenAI 现在被视为该行业的领导者。而 A21 Labs 被投资者视为 OpenAI 最有力的竞争者之一。有关投资者认为,A21 Labs 在技术和商业上都是最高水平的,是一家有着变革性的差异化公司。

针对此次融资,A21 Labs 的联合创始人兼 CEO 奥里·戈申(Ori Goshen)对媒体表示:“新资金将主要用于研发更大、更复杂的语言模型,同时更还会用来招募更多优秀人才。”

他还对媒体补充说,实际上,新冠疫情的大流行对他们的业务产生了积极影响。随着越来越多的人开始在家远程工作,人们以前通常会口头分享的内容改为由书面文本传达。他们的大语言模型可帮助其他公司,有针对性地做文本汇总和分类等工作。

据了解,A21 Labs 由戈申、沙书亚和斯坦福大学计算机科学系教授约夫·肖汉姆(Yoav Shoham)于 2017 年共同创办。该公司首先发布的是一个名为 Wordtune 的应用,这是一种集成了 AI 功能的写作辅助产品,当时是为了与软件公司 Grammarly 竞争。

上文提到的 AI21 Studio 由 A21 Labs 于 2021 年 8 月发布,同时推出的还有一项“即用即付”服务,允许开发人员申请访问根据其要求而微调数据集的自定义模型。

(来源:AI21 Labs)

然后,值得一提的是,现有大多数语言模型都会遇到一个问题,即有可能产生有害或有偏见的文本。因为它们训练所使用的数据大都直接来自包含各种各样信息的互联网。

A21 Labs 的模型也存在这个问题。尽管该公司要求使用者遵守使用条款,但它尚未对其应用程序接口(API,Application Program Interface)输出的潜在有害内容进行过滤。

不过,A21 Labs 告诉媒体,为打击滥用,它会对微调模型的请求进行人工审查,并声称其模型比 GPT-3 产生的不良信息要略少。该公司还提到,它们的模型还有一个优势是,在维基百科等知识上做了训练。

此外,据悉,为增强 Jurassic-1 系列全新 Jurassic-X 模型的内容输出,A21 Labs 采用了一种“模块化推理知识系统”,可让 Jurassic-X 回答并简化“有难度”的数学运算等极具挑战性的“复杂”问题。

但该模型尚未被允许与其他商业语言模型做对照,其具体能力和效果如何还有待进一步确认。

另外,当被问及公司情况时,戈申拒绝透露公司收入数据,甚至拒绝透露增长预期。只是对媒体表示,除了免费计划的 1 万多名用户外,AI21 Studio 拥有数百名付费客户和设计合作伙伴,Wordtune 有着几百万用户。

最后,目前研发和训练大模型的成本较高,可能会给开发机构和投资者带来不小压力。据了解,A21 Labs 研发 15 亿参数的语言模型需要花费 160 万美元,这还没有计算模型的托管成本。而 Jurassic-1 Jumbo 有 1780 亿个参数,可想而知,其成本之高。

“目前语言模型技术还处于刚开始被采用的萌芽阶段,对于其的市场需求和商业化未来还不足够清晰,”戈申告诉媒体,“在获得这次资金后,A21 Labs 将继续履行自己的使命,即建立具有前所未有的理解和生成自然语言能力的 AI 系统。”

参考资料:

OpenAI rival AI21 Labs raises $64M to ramp up its AI-powered language services

https://mixed-news.com/en/openai-competitor-ai21-labs-gets-large-multi-million-investment/返回搜狐,查看更多

责任编辑:

    THE END
    喜欢就支持一下吧
    点赞13 分享
    评论 抢沙发
    头像
    欢迎您留下宝贵的见解!
    提交
    头像

    昵称

    取消
    昵称表情代码图片

      暂无评论内容