OpenAI爆料！GPT-5参数将达17万亿，GPT-6规模增加百倍

OpenAI的野心似乎永无止境！

最近，OpenAI 首席财务官Sarah Friar 关于GPT-5和GPT-6的爆料引起了轩然大波。

其表示，他们下一个AI模型将比GPT-4大一个数量级，未来模型也将以类似速度增长，需要大量资本投资以实现他们的「雄心壮志」。

视频揭示了两件事（暂将下两代模型记名为GPT-5 和GPT-6，虽然OpenAI 不一定按套路出牌）： 

GPT-5 将比 GPT-4 大 1 OOM，因此预计GPT-5的参数规模将达到惊人的17万亿，这比GPT-4整整大了一个数量级！这将使其性能显著提高，因为粗略地说，参数越多，答案就越好。 

而GPT-6更是要在此基础上再翻十倍！

因为GPT-6 将又是另一个 OOM（与 GPT-5 相比是 10 倍，与 GPT-4 相比是 100 倍）。 

但与此同时，成本也成倍增加，从长远来看，这将给我们带来巨大的扩展问题。

GPT-5：参数暴增，性能飙升？

根据视频透露，GPT-5的参数规模预计将达到约17万亿。

这意味着什么？

简单来说，参数越多，模型的表现通常就越好。

Chubby♨️ (@kimmonismus) 对此评论道：

GPT-5将比GPT-4大一个数量级，预计有约17万亿参数。这将使其性能显著提升，因为粗略来说，参数越多，回答就越好。

但是，参数增加就一定意味着性能提升吗？

Beyond this journey (@beyondthisjourn) 提出了一个很好的问题：

更多的参数是否能保证模型更聪明/更智能？

虽然参数增加通常会带来性能提升，但这种关系并非绝对。模型的智能还取决于训练数据质量、算法设计等多个因素。

GPT-6：野心更大，挑战更多

如果说GPT-5已经让人瞠目结舌，那GPT-6的计划简直是要上天。如视频中提到，GPT-6的参数规模将是GPT-5的10倍，也就是GPT-4的100倍，即170万亿参数！

这太疯狂了！

我不禁想问：我们真的需要这么大的模型吗？

leeloo dallas (@ps5_expert_play) 表达了一个有趣的观点：

我们不需要GPT-6。它是个锦上添花的存在，因为它会比5更好。但5o加上可变推理计算就能让我们达到后稀缺时代的生产力水平。（机器人和博士级代理）

这是说：够用就行，别玩太大的？

只是，这是不是有点保守了。

扩张背后的隐忧

然而，牛不是光吹就行。OpenAI的野心背后也隐藏着巨大的成本挑战。Chubby♨️ (@kimmonismus) 指出：

同时，成本却呈指数级增长，这将在长期给我们带来重大的扩展问题。

成本问题无疑是制约AI发展的一大瓶颈。

随着模型规模的扩大，训练和运行成本也会飙升。这可能会导致AI技术的发展速度放缓，甚至出现停滞。

不过，morgan — (@morqon) 提供了一些积极的看法：

幸运的是，扩展推理的成本要便宜得多。

这是在说虽然预训练阶段的扩展成本高，但o1 的推理阶段扩展的打法，成本要远低于预训练阶段的扩展。

照这个思路，推理扩展 + 更大的参数量，这或许还真是个可能的研究方向！

GPT-5和GPT-6的参数规模扩张计划展示了OpenAI的雄心，但同时也带来了诸多挑战和思考。

期望这不是为了搞钱融资而口嗨，也不仅仅是数字上的胜利，而是能为人类带来真正的价值。