前OpenAI首席研究官：AI下一步是什么？

fudashuai

       Bob McGrew认为，大模型的进步是一个非常缓慢的过程，比如GPT-5可能之比GPT-4只强十倍，不会像前几代模型那样显著。他预测，未来视频模型的质量将得到显著提升，完全由AI生成的、足以获奖的电影可能会在两年内出现。他还相信机器人技术将在五年内得到普及，认为现在是一个创建机器人公司的好时机。

　　在人工智能领域，很少有人比Bob McGrew更引人注目。作为OpenAI的前首席研究官，McGrew在过去六年半中一直是AI技术实现突破的关键人物。周三，在离开OpenAI一个多月后，McGrew罕见接受了外界的采访。

　　当地时间18日，Bob McGrew在RedPoint AI播客中，讨论了AI的未来，包括大模型是否遇到了瓶颈，机器人、AI视频未来如何发展等问题。

　　McGrew首先回应了当前关于大模型的能力是否达到极限的争论，他认为，大模型还有非常大的进步空间，但这是一个缓慢的、需要数年来完善的过程。

　　他指出，外界对于模型能力的看法与实验室内部的看法存在较大差异。对于外界来说，大模型的发展似乎是一个快速的过程，但对于实验室内部人士来说，每一个进步都需要投入巨大的计算资源。比如，从GPT-3到GPT-4，计算能力增加了100倍，这种增长不仅来自于增加更多的芯片和数据中心，还包括算法的改进。

　　McGrew强调，预训练的进步需要巨大的计算量，这通常涉及到建造新的数据中心，而这又是一个缓慢的过程。他提到，从GPT-4进化到GPT-5的过程中，GPT的能力可能只出现了10倍的增长。

　　McGrew还预测，未来视频模型的质量将得到显著提升，完全由AI生成的、足以获奖的电影可能会在两年内出现，而且成本将大幅下降。

　　在讨论机器人技术时，McGrew表现出了非常高的热情。他相信机器人技术将在五年内得到普及，认为现在是一个创建机器人公司的好时机，因为基础模型在快速启动和泛化方面取得了突破性进展。

　　McGrew还认为，AGI（通用人工智能）可能不会有一个明确的转折点，而是一系列渐近的发展。他预测，随着AI的进步，我们将进入一个智能无处不在且免费的世界，到那时能动性将是最稀缺的资源之一。

　　华尔街见闻整理了本次访谈的亮点观点：

       从GPT-2到GPT-3，或者从GPT-3到GPT-4，有效的计算量增加了100倍。这就是这种增量所代表的意义。你可以通过增加浮点运算次数、增加芯片、扩大数据中心和改进算法来实现这一点。算法改进可以带来一些收益——50%、2倍或3倍就已经很了不起了。但从根本上说，你必须等待新的数据中心建成。

       从根本上说，这是一个非常缓慢的、需要数年时间的过程。事实上，在你看到完整的代际过渡，比如从 GPT-4 到 GPT-5 之前，你将会看到一些只有10倍提升的东西。人们常常忘记，我们是从 GPT-3 到 GPT-3.5 再到 GPT-4 的。

       我认为我们必须等待，看看下一代模型何时发布。如果你看看像O1这样的东西，我们已经能够利用强化学习取得进展。通过各种指标来看，O1代表着比GPT-4高100倍的计算量。有些人可能没有意识到这一点，因为决定将其命名为O1而不是GPT-5。然而，实际上，这是一个新一代的模型。

       所以如果我考虑一下今天的视频模型和两年后的视频模型之间的差异，首先是质量会更好。现在的瞬时质量已经非常好了。另一方面，另一个类比是，我实际上认为它会非常像大型语言模型，如果你想要一个GPT-3质量的token，它比GPT-3刚出现时便宜100倍。Sora的情况也会如此，你将能够看到这些非常漂亮、逼真的视频，而且它们的成本几乎为零。

       （AI生成电影）赢得一个奖项某种程度上来说门槛太低了，对吧？我想有很多颁奖典礼．．．．．．我觉得我们会在两年后看到它，但它实际上会比我刚才说的更没那么令人印象深刻，因为你想看它的原因不是因为视频本身，而是因为有一位导演拥有创意愿景，并使用视频模型来实现他的创意愿景。

       我相信机器人技术将在五年后得到广泛应用，尽管会有一些限制。因此，我认为现在是创办一家机器人公司的好时机。我不会预测机器人何时进入家庭，但我认为你会看到它被广泛应用。

       我很难理解AGI的概念。而且，我认为，如果说有什么的话，我对AGI有一个很深的批判，那就是不存在一个明确的转折时刻，实际上，这些问题是分形的。而且，我们将看到越来越多的事物被自动化。但不知怎么的，我们——我不知道。我有一种感觉，它会变得非常平庸，不知何故，我们都会开着自动驾驶汽车去办公室，在那里指挥着人工智能大军。然后我们会觉得，哦，这有点无聊。感觉仍然像在办公室，我的老板仍然是个白痴。这大概就是我们AGI的未来。

       我们正在从一个智能可能是社会中最稀缺资源的时代，过渡到一个智能将无处不在且免费的时代。那么，稀缺的生产要素又是什么呢？我猜是能动性。你需要提出什么正确的问题？你需要追求哪些正确的项目？我认为这些类型的问题对于人工智能来说很难为我们解决。我认为这些将是人类需要弄清楚的核心问题。

　　以下是本次访谈的文字实录全文（由AI翻译）：

       主持人Jacob：

       Bob McGrew 在 OpenAI 担任首席研究官六年半。他最近在几个月前离职，我们有幸能在“无监督学习”播客上成为他首次亮相的播客之一。因此，我们有机会向他询问关于人工智能未来的一切。我们讨论了模型是否已经触及瓶颈，还讨论了机器人模型、视频模型、计算机使用模型，以及 Bob 预见的未来时间线和能力。我们谈到了 OpenAI 独特的文化以及是什么使其研究如此有效，以及一些关键的决策点和经历这些决策的感受。我们探讨了为什么 AGI 可能感觉和今天没什么不同，Bob 还分享了他离开 OpenAI 的原因以及下一步的计划。我认为大家会非常喜欢这一期节目。话不多说，下面是 Bob。Bob，非常感谢你来参加播客。谢谢邀请，我很期待这次对话。真的很高兴你能来。我知道我们会谈论很多不同的话题。我想我们不妨从一个我觉得现在大家最关心的问题开始，也就是关于模型能力是否已经触及瓶颈的激烈辩论。我们很想听听你对此的看法，以及你觉得预训练方面还有多少潜力可挖。

       Bob McGrew：  好的，我觉得这可能是外界观察者和大型实验室内部人员看法分歧最大的地方。我认为，如果从外界来看，很多人最初开始关注人工智能是因为 ChatGPT。然后过了六个月，GPT-4 就出现了。感觉一切都在快速加速，并且正在取得进展。然而，GPT-4 是一年半前发布的，而且大家都知道它在此之前就已经训练好了。那么，现在发生了什么？为什么没有新的东西出现，对吧？

       内部的看法截然不同。在外面，人们想知道，我们是不是遇到了数据瓶颈？到底发生了什么？但你必须记住，要取得预训练的进展，特别是，需要大幅增加计算量。从 GPT-2 到 GPT-3，或者从 GPT-3 到 GPT-4，有效的计算量增加了 100 倍。这就是这种增量所代表的意义。你可以通过增加浮点运算次数、增加芯片、扩大数据中心和改进算法来实现这一点。算法改进可以带来一些收益——50%、2倍或 3倍就已经很了不起了。但从根本上说，你必须等待新的数据中心建成。

       正在建设的新数据中心并不少。你只要看看新闻就能发现，像 Meta、X 和其他前沿实验室也在建立新的数据中心，即使这些新闻并不总是登上头条。但从根本上说，这是一个非常缓慢的、需要数年时间的过程。事实上，在你看到完整的代际过渡，比如从 GPT-4 到 GPT-5 之前，你将会看到一些只有 10 倍提升的东西。人们常常忘记，我们是从 GPT-3 到 GPT-3.5 再到 GPT-4 的。

       现在有趣的是，预训练正在进行中。我认为我们必须等待，看看下一代模型何时发布。如果你看看像 O1 这样的东西，我们已经能够利用强化学习取得进展。通过各种指标来看，O1 代表着比 GPT-4 高 100 倍的计算量。有些人可能没有意识到这一点，因为决定将其命名为 O1 而不是 GPT-5。然而，实际上，这是一个新一代的模型。

       当下一代，假设的 GPT-4.5 被训练出来时，有趣的问题是，这种预训练的进展如何与强化学习过程相比较？我认为，我们只能拭目以待，看看会发布什么消息。

       主持人Jordan： 这就引出了一个问题，考虑到进入 2025 年的多年过程，你认为明年人工智能的进展会像去年一样多吗，还是你认为事情会开始放缓？

       Bob McGrew：  嗯，我认为会有进展。我认为这会是不同的进展。一件事是，当你进入任何下一代时，你总是会遇到在前一代中没有看到的问题。因此，即使数据中心已经建好，人们也需要时间来解决问题并完成模型的训练。

       我们用来训练 O1 的强化学习过程，也就是 OpenAI 用来训练 O1 的过程，创建了一个更长、更连贯的思维链，有效地将更多的计算量融入到答案中。所以，你知道，如果一个模型需要几秒钟才能生成答案，而另一个模型需要，比如说，几个小时才能生成答案，那么如果你能真正利用它，那就是 10000 倍的计算量，对吧？

       老实说，我们从大约 2020 年就开始思考如何使用测试时间计算。最后，我认为这实际上是如何做到这一点的真正答案，即如何在不浪费大量计算资源的情况下做到这一点。这样做的好处是它不需要新的数据中心。在这里，有很多改进的空间，因为这是一种刚刚开始的新技术，并且有很多算法增强的机会。

       从理论上讲，没有理由说用于使 O1 从几秒钟，比如 GPT-4 可以在几秒钟内完成的事情，到 O1 花费 30 秒、1 分钟或几分钟来思考的相同基本原理和想法不能扩展到几个小时甚至几天。就像从 GPT-3 到 GPT-4 一样，没有基础的新技术；两者都以大致相同的方式进行训练，但扩展是非常困难的。

       所以这实际上是问题的核心：你真的能进行扩展吗？我认为这将是我们将会看到的进步类型，并且它会是最令人兴奋的。

       主持人Jacob：  是的，在 2025 年。考虑到对测试时间计算的关注以及当前使用的 O1，我认为思考人们实际上将如何使用这些模型真的很有趣，对吧？我认为你最近发了一条推文，我觉得很有意思，内容是关于你需要这些新的产品形态（form factor）来解锁某些模型的功能。所以也许可以稍微展开一下。例如，你有没有看到任何你觉得在使用这些模型时很有趣的早期产品形态？

       Bob McGrew：  嗯，是的。为了解释这个问题，聊天机器人已经出现一段时间了。今天人们与聊天机器人的大多数互动，GPT-4 级别的模型都能很好地完成这些任务。你知道，如果你问 ChatGPT，谁是第四位罗马皇帝？或者我如何加热印度香米？我们的大多数日常对话都能很好地处理。

       当我们考虑发布 O1 预览版时，有很多关于人们是否会使用它以及他们是否会找到用它来做什么的问题。我认为这些问题是正确的。这关系到理解需要用这个模型做什么才能真正从中获得价值。编程是这方面的一个很好的用例，因为它提出了一个结构化的问题，你试图在很长一段时间内取得进展，并且它显著地利用了推理能力。

       另一个例子是如果你正在撰写政策简报。在这种情况下，你需要撰写一份需要有意义且具有凝聚力的长篇文档。事实是，虽然有很多程序员，但大多数非程序员的人并没有每天都需要解决这样的任务。然而，回到这里潜在的突破，重要的是要有一个连贯的思维链和一个结构化的方法来解决问题。

       这个过程不仅仅包括思考问题；它还可以包括采取行动和制定行动计划。对于像 O1 这样的模型，我最兴奋的事情——我相信很快会有其他实验室推出类似的模型——是使用它们来实现长期行动，本质上是充当代理。虽然我认为“代理”这个术语被过度使用了，并且没有清楚地传达我们试图实现的目标，但在我的生活中，我有很多任务希望模型能为我预订东西、为我购物，并以涉及与世界其他部分互动的方式来解决问题。

       我认为这是我们真正需要解决的产品形态：理解它是什么以及我们如何有效地部署它。就目前而言，我认为还没有人弄清楚这一点。

      主持人Jacob： 这太有趣了。我的意思是，这完全说得通。我觉得每个人，你知道的，都会对这些智能体能做什么以及它们能为人们和企业解决什么问题产生无限遐想。那么，今天实现这一切的最大障碍是什么呢？显然，你们已经看到了早期的一些模型，比如 Anthropic 发布的计算机使用模型，而且，我确信其他实验室也在研究这个。但是，当你思考是什么阻碍我们达到目标时，有哪些难题仍然需要解决？

       ······ （略）

       Bob McGrew：   是的，嗯，如果你想关注我正在思考的事情以及我的进展，最好的地方是在Twitter上关注我，账号是 ··· McGrewAI。我认为这里最恰当的结束语是，人工智能的进步将继续下去。而且这将是非常令人兴奋的。它不会放缓，但它会改变。这很有趣。所以我鼓励大家继续努力。

       主持人Jacob： 好的，鲍勃，非常感谢。真的，这太引人入胜了。随时欢迎你再来。

　　风险提示及免责条款   　市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。 （华尔街见闻）