DeepMind最新研究：如何将「大语言模型」 训练到最优？
作者丨维克多 Transformer的提出距离我们已经有5年的时间，随着模型规模的不断增长，性能提升也逐渐出现边际效益递减的情况。如何训练出最优性能的大模型？ 最近，DeepMind做了一项调查，想弄清...
谷歌、DeepMind等发现大语言模型具有原因不明的突现能力，或可推动自然语言处理研究
关于 AI 未来发展的一个关键话题是，扩大规模是否会导致模型的质量产生较大变化。最近，来自谷歌研究院、斯坦福大学、北卡罗来纳大学教堂山分校和 DeepMind的一组研究人员给出了肯定答案。 他们...
谷歌发布最大语言模型：等于9个GPT-3，训练成本却低得多
杨净 发自 凹非寺量子位 报道 | 公众号 QbitAI今天，谷歌大脑声称，他们新技术能训练万亿级参数的语言模型。 万亿级，什么概念？ 烧了微软10000张显卡的GPT-3，也不过1750亿参数。 现在，他们将...
「ChatGPT」爆火背后的大语言模型到底是什么？
一百多年前，数学家安德烈.马尔可夫突发奇想，想要探索普希金的诗体小说《叶甫盖尼.奥涅金》中的语言的统计规律，从而模拟普希金的写作风格。在研究过程中，马尔可夫使用了一种概率模型，将文本...
微信版大语言模型来了:跨时空对话李白、教你高情商说话,在线可玩
鱼羊 梦晨 发自 凹非寺量子位 | 公众号 QbitAI大规模语言模型，微信版，来了！ 并且甫一登场，就没藏着掖着： 论文、API接口、在线试玩网站……一条龙全都齐备。 续写文本、阅读理解等常规任务...
参数高达1760亿个，1000多名学者联合研发大型语言模型BLOOM，人人都能免费下载
在位于巴黎郊区的法国国家科学研究中心，有一个超级计算中心，内部一排排看起来像黑色冰箱的东西正嗡嗡作响。听着震耳欲聋的 100 分贝的声音，就像是参加了一场人工智能研究的摇滚音乐会。 这些...
