为什么选择GPT-4o和GPT-4o Mini，而不是等待GPT-5？

nidongde2024-07-21 23:11:2056

最近，大家都在期待 OpenAI 发布 GPT-5，但出人意料的是，OpenAI 带给我们的却是 GPT-4o 和 GPT-4o mini，这种选择让人有点琢磨不透。

原以为科技进步会带来更多创新，结果现在连基础的模型都被削减参数量，这种“倒退”真的让人感到疑惑，难道科技巨头现在的目标是压缩技术，而不是创新突破？

小而强大

Small but powerful

首先，你需要了解的是，GPT-4o 和 GPT-4o mini 并不是为了超越 GPT-4 而诞生的。

而是通过优化模型大小和训练数据质量，显著提升处理速度和成本效率，同时保持高水平的多模态支持。

所以，这并不是倒退，而是一种优化。

想象一下，GPT-4 就像是一个庞大的图书馆，里面囊括了几乎整个互联网的公开文本数据。

这样的模型虽然强大，但也极其耗费资源。

而 GPT-4o 和 GPT-4o mini 则像是从这个图书馆中精选出来的高质量书籍，它们在保持一定智能水平的同时，大幅减少了资源消耗。

根据官方提供的数据，GPT-4o Mini的MMLU得分为82%，超过了其他小型模型如Gemini 1.5 Flash（79%）和Claude 3 Haiku（75%），详见(点击链接查看)：

OpenAI正式发布 GPT-4o mini ！这是目前最智能且最实惠的小型模型！

这意味着GPT-4o Mini在长文本处理等应用中非常具有吸引力。

大而不优

Large but not superior

当前的AI模型，尤其是大型语言模型（LLMs），比如GPT-4，在训练过程中，需要记住大量重复且质量不高的数据。

这种方式虽然让模型具备了广泛的知识，但也带来高昂的计算成本和资源浪费。

想象一下，如果你要参加一个考试，题目是根据互联网的任意段落前几句话，背诵出后续内容。

这就是当前模型的训练目标。

但我们知道，思维和知识是交织在一起的，因此模型必须先变得更大，才能帮助我们重新塑造和优化训练数据，直到我们得到“完美的训练集”。

从大到小

From big to small

正因为如此，模型的发展需要经历一个从大到小的过程。

首先，我们需要一个庞大的模型来生成高质量的合成数据，然后再用这些数据训练更小的模型。

这样的小模型，虽然参数量减少了，但因为训练数据质量更高，性能依然出色。

这就像是一个阶梯：

一个模型帮助生成下一个模型的训练数据，直到我们最终得到一个非常强大的小模型。

也许未来这些小的模型在优化后，会被认为是“聪明”的，因为它们经过优化，不再需要记住所有的细节，而是专注于更重要的推理和思考。

小模型的新时代

The new era of small models

所以，未来的AI模型将会越来越小，但并不意味着它们会变得更弱。

相反，随着训练数据质量的提升和算法的改进，小模型将会变得越来越智能。

我们不再需要庞大的参数量来支撑模型的智能，而是通过优化训练数据和改进算法，让小模型能够进行高效的推理和思考。

在理解了模型参数“倒退”的背后逻辑之后，我们不难发现，这其实是AI领域的一种整体趋势。

更小、更高效的模型不仅意味着更低的成本和更快的生成速度，还将引领我们进入一个全新的AI计算新时代。

这一趋势不仅体现在模型参数的优化上，更体现在AI计算资源的分布和使用方式上。

本地AI正在崛起

Local AI is emerging

你可能已经注意到，AI计算正在向本地设备推进。

OpenAI正在推动AI云计算，Sam Altman甚至表示未来的云计算将便宜到不值得计量。

芯片公司也在不断进步，开发出能够更快、更高效运行的本地AI。

未来，95%的消费者AI计算将会在本地设备上进行，只有5%需要依赖最快、最便宜的云端AI服务。

开发者在未来几年会选择最快、最便宜的云端AI提供商，因为大多数AI开发者不想花时间构建自己的AI基础设施，而是希望选择最有效（成本/速度）且最稳定的解决方案。

本地AI的崛起有几个原因：

- 每周都有重大的算法进步，使得小模型的表现几乎与前沿模型相当。
- 本地设备上的AI几乎是免费的。
- 运行在本地上的模型能显著减少能耗。
- 对于AI助手这类最佳的消费者AI应用，在本地运行可以更好地保护个人信息隐私安全。
- 延迟是影响AI体验的关键因素，尤其是AI助手，而本地运行，延迟更低，体验更好。

当然，这并不意味着云AI提供商没有价值。

对于那些无法在设备上运行的用例，云AI提供商将发挥重要作用。

尤其是在企业级别，高规模的AI计算需求只能由云来满足。

例如，成千上万甚至上百万的尖端AI智能体，只有在云上才能高效运作。

最后

Finally

总的来说，你才是最大的赢家。

现在，闭上眼睛，想象一下未来的情景：

你的手机中运行着一个超强的小模型，它快速响应你的每一个请求，而那些复杂的计算则由云端处理。

AI带来的便利和智能，将深深融入我们的生活。

这样的未来，离我们不远了。

本文链接：https://houze.cc/gpt5/90.html