OpenAI o1,贵不是问题，能否开启新的范式迭代更关键

chatgpt代充2024-09-18 10:05:1266

先做个广告：如需代注册帐号或代充值Chatgpt Plus会员，请添加站长客服微信：pingzi7749

近日，OpenAI 发布新模型 o1 。

“对于复杂的推理任务来说，这是一个重大进步，代表了人工智能能力的新水平。鉴于此，我们将计数器重置为1，并将该系列命名为“OpenAI o1”。

OpenAI在其官方博客简述了o1背后的核心技术提升：“通过强化学习，o1 学会了精炼其思维链并优化所用的策略。它学会了识别并纠正错误，将复杂的步骤分解为更简单的部分，并在当前方法无效时尝试不同的途径。这一过程显著提升了模型的推理能力。”

o1的三个主要新能力：内化了思维链（COT）、能纠错、能尝试不同的途径。这些基本上与近几日业界讨论甚多的SelfPlay-RL（自我对弈型强化学习）的基本能力很符合。

强化学习与 self-play ：让 AI 用随机的路径尝试新的任务，如果效果超预期，那就更新神经网络的权重，使得 AI 记住多使用这个成功的事件，再开始下一次的尝试。

华裔数学家陶哲轩向o1模型提出一个措辞模糊的数学问题，发现它竟然能成功识别出克莱姆定理。

而且答案是“完全令人满意的”那种。陶哲轩是这样形容的：

这种感觉，就像给一个平庸无奇但又有点小能力的研究生提供建议。

这个评价非常高。

o1尤其擅长处理数学和编程问题，OpenAI认为，o1在物理、生物和化学问题基准测试中的准确度超过了人类博士水平。

o1在美国数学奥林匹克资格赛中跻身美国前500名学生之列；在Codeforces比赛中达到了第89个百分位。事实上，在数理领域，o1 能力提升非常快，比起自己的前辈来说，都是接近 8 倍的提升。

大佬Maxim Lott，给o1、Claude-3 Opus、Gemini、GPT-4、Grok-2、Llama-3.1等进行了智商测试，结果表明，o1稳居第一名。紧随其后的，就是Claude-3 Opus和Bing Copilot，分别取得了第二名和第三名。

o1在最新门萨智商测试中，IQ水平竟超过了120分，把其他模型甩出好几条街。OpenAI的研究主管兼现任的IOI美国队教练Mark Chen称o1达到了「接近大师级的表现」。

大模型进化的瓶颈与OpenAI的解决方案

大模型Large Language Mode进化遇到瓶颈：数据瓶颈——数据不够用了；以及算力瓶颈——3.2万张卡已是目前的天花板。

强化学习的思路本质是用 inference time 换 training time 以解决边际收益递减问题。我们之前算过一笔账，对于 GPT-4 或 Claude-3.5 这种水平的模型，如果要合成 1T 高质量推理数据，需要 6 亿美金。如果合成 10T 高质量推理数据，需要 60 亿美金，这个量级很高。但是，与预训练不同的是， inference 对单张卡的性能，以及集群规模的性能要求相对低一些。不一定非要用最顶尖的卡，或 3-10 万卡的集群。分布式的集群也可以用来做强化学习的 inference 。