ChatGPT 之后，国内要做 ChatGPT 的团队摩拳擦掌，最终的目标，做一个类似 GPT3或者 ChatGPT 的大语言模型。但这件事情到底有多难呢？到底有多靠谱呢？
我不是自然语言处理专业的，但我跟专家请教后得出的结论，大的思路和方法清晰，并没有太多业界不知道的东西。从算法的大体的结构到数据，是一个有技巧却没有秘密的领域。只要有足够的资源，耐心，复现或者继续前进是一个大概率的事情。也就是说，整体上来讲，相当于哥伦布已经发现了新大陆，消息传回欧洲大陆以后，葡萄牙人到达新大陆的难度。
大航海时代最大的不确定性，就是不知道不知道继续航行下去，前方到底是宝藏还是死亡。
在前面的十几年的时间里面，自然语言处理 NLP 届的共识是，OpenAI 走上了一条邪路。走火入魔这个词我都听了很多遍。
在整个业界都在建立一个个专门的小模型，解决一个个具体的问题，然后再把这些模型组合起来一起工作的时候，有一群疯子去搞大语言模型，试图搞出一个类似于通用人工智能的东西，有百亿的参数，恐怖的计算资源，扔进去几十亿美元，还依然没有啥结果。
这就是哥伦布逆着西风带航行的船队遇到的囧境。
所有的远航都是需要有干粮和补给支撑的。过了某一个折返点，剩下的补给将无法支撑他们返航，前面要么有什么岛屿，要么就是自己生命的最后几个月的时光。当时，船上此起彼伏的刺杀、政变完全可以理解。因为所有的人都害怕近在咫尺的死亡。
所以，当哥伦布到达新大陆的时候，不仅仅哥伦布还有西班牙的王室知道了，所有的人都知道了：这条路走得通。
当 OpenAI 已经把用暴力美学的方式把这条路走通了，接下来走第二遍，就容易太多了。虽然这件事情已然艰辛，但难度和第一次相比已经不在一个数量级上了。不走 OpenAI 走过的那么多弯路，或许几亿美金就可以复现 GPT3。任何的投资都不怕花钱本身，而是怕投进去颗粒无收。
毕竟这个世界上最贵的是运气。当不确定性消失了，未来在大语言模型（LLM）的这场局部战争也将会非常拥挤、热闹。
暂无评论内容