黄仁勋新加坡最新演讲：每个公司都将有“两个工厂”

fudashuai

       黄仁勋新加坡最新演讲：每个公司都将有“两个工厂”　　来源：信息平权

　　2天前（Gemini发布当天）老黄在新加坡做了个小范围演讲和交流，中文媒体没人去记录。但youtube听完非常有趣，转译了下，分享给大家。

　　话题包括了：AI底层思考、对AI时代计算体系变革的深刻洞见、国家主权AI意义、China、“两个工厂”理论。Enjoy！

　　Jensen Huang：

　　今天我想谈论几个问题，首先是计算机行业正在发生的变化，其次，为什么生成式人工智能如此具有变革性，第三，各个行业和国家正在竞相拥有他们自己的人工智能，他们为什么这样做，他们是如何做到的，为什么这是一个非凡的机会。

　　全球计算机行业正在经历两个同时进行的转变，这在很长一段时间内都没有发生过，而英伟达正处于其中心。其中一个被称为加速计算，与之相对的是通用计算，用一种通用处理器进行一切工作已不再具备成本或能源效率，数据中心必须尽可能加速所有工作负载，以实现更高的性能、能源效率和成本效益。

　　第二个是，加速计算使一种新的软件开发方式成为可能，推动了软件平台的转变，使以前无法实现的应用程序成为可能。加速计算和生成式人工智能一起推动了广泛的平台转变，这不是经常发生的事情，而且在我整个职业生涯中从未发生过。IBM System 360是在我出生后的一年或两年内发明的，它描述了一种使用中央处理单元的计算机体系结构，它被划分为多层级的内存结构，高速缓存、系统内存、硬盘。这一发明描述了一种计算机体系结构，具有IO子系统，并且非常重要的是，它描述了一类计算机，这种计算机已经60年没有改变了，软件编写方式也已经60年没有改变了，因此有理由关注正在发生的事情，为什么它正在发生以及前方的机会。

　　英伟达是通过发明一种称为CUDA的新编程工具，以及我们称之为GPU的处理器来推动加速计算，来卸载和加速CPU无法高效执行的工作负载。我们本就应该使用正确的工具来做正确的工作，以此来提高性能，同时降低能源成本几个数量级。经过近25年的发展，加速计算取得了广泛的成功，现在已经得到了开发者、系统制造商、云服务提供商、技术制造商和他们的用户生态系统的信任。我刚刚描述了一种基于CUDA的新计算机体系结构，一种称为加速计算的新计算方法，现在它几乎无处不在，它存在于每个云中，存在于每个系统制造商中，存在于每个行业中。这种情况在60年内从未发生过，这是一种非凡的情况，也是英伟达发现自己成为了如此多技术变革和工业革命的中心的原因之一。加速计算推动了深度学习和大型语言模型的进一步发展和扩展，从而引发了生成式人工智能的崛起，许多人将其称为第四次工业革命。我们知道智能是最有价值的东西，但假如智能可以批量化、自动化地生产，是多么令人难以想象。第二次工业革命，有一个建筑物，加入原料，加上火，就出现了一些看不见的东西（电），并被传送了数百英里，通过打开它，你拥有了光，拥有了热量，我们制造了能源，制造了电力，它改变了一切。而今天同样有一个建筑物，里面有一个特殊的仪器，叫GPU，你输入的原材料是表征数据的电子，而输出的是更多的电子，是token，这些token被称为智能。

　　我刚刚提到了GPU，它可以非常大，看起来像一个工厂，事实上这就是一个新的工业，一个全新的工业已经被创造出来，这不是过去的数据中心，而是一个AI工厂，我们现在生产、开发、精炼叫做数据的原材料，然后将其转化为世界上最有价值的东西——智能，我们在高产量、大规模生产，并且我们正处于这个革命的开始。

　　生成式人工智能，正如你们所知，已经找到了如何识别模式和关系，从你们提供的数字中，这些数字可以代表文本、图像、运动、流体、温度、声音、蛋白质、化学物质、氨基酸、基因等等，它可以代表你想要的任何东西，并且可以发现其中的关系和模式，从而理解它的含义。去理解词汇的含义并不是那么容易，非常神奇的是，计算机可以做到这一点，我们所有人都可以做到，这就是使我们聪明的原因，但要理解氨基酸的含义，要理解基因的含义，并能够从英语翻译到英语字幕或总结，从图像到文本，从视频到操控动作（自动驾驶汽车），从图像到信息的所有这些翻译，现在都是可能的，这都是由于生成式AI带来的，对于行业的影响是非常深远的。

　　让我简要介绍一下，你们知道，foundation模型现在是多模态的，所以你可以同时理解文本和图像，实现高水平的语言和基本数学技能，以及一些基本的推理。当然，多步推理还有很长的路要走，系统思考，慢思考，快思考。AI在慢思考方面非常出色，在快思考方面则不太出色，那里有很多机会和突破。

　　全球最大的互联网和云服务提供商开始了第一波浪潮，我们看到下一波浪潮正在迅速崛起，而这一波浪潮的核心是各个国家，各个国家正在建设主权AI基础设施，这将会被各个行业，各个公司所紧随，今天世界上的每个公司，无论多大，都拥有制造某种东西的传统工厂，它们可能制造汽车的工厂，飞机工厂，家具工厂，药物研发工厂。但在未来，每个公司都将有两个工厂，一个负责制造实物，一个负责生产“智能”。英伟达拥有世界上五台最大的超级计算机，24小时运行，没有他们，我们无法设计自己的软件，无法设计自己的芯片，无法做任何事情，所以我们有两个工厂，一个工厂外包给TSMC制造芯片，一个“智能工厂”我们自己运营。今天，每个公司，每个国家都将采用类似的方式。

　　主权国家已经意识到，他们的主权数据包含着人民的知识和文化，国家必须培训和拥有他们社会的AI，国家已经觉醒，需要制定AI战略，正在评估AI研究和行业主权数据以及AI计算基础设施和安全政策的投资。我非常高兴看到新加坡已经更新了国家AI战略，我在抵达新加坡时有幸下载了新加坡国家AI战略2.0，如果你还没有机会阅读它，请务必阅读，这是一份非常出色的文件，非常明确的愿景和可操作的战略，嵌入了我认为很多智慧和未来抱负，强调了几个我非常赞同的事情，首先是要扩大AI人才的培养，建设AI计算基础设施。

　　在我们那一代的软件工程师开始工作时，会拿到一个连接到主机的终端（PC），而那个终端实际上只是一个升级版的打字机。我们的整个职业生涯都在“打字”，但正如你们所知，现在再多的打字（编程）也无法为你创造出一款生成式AI，这在理论上对任何人来说都是不可能的，因为没有人可以打字得那么快，处理那么多的数据。所以今天，任何人进行任何类型的科研or工程，你都需要像我当年使用PC一样，使用一台AI超级计算机。

　　最后，要在各个行业推广AI，这也是我在新加坡文件中阅读到的，AI不是一种奢侈品，AI的投资不是一个机会，而是一种必须拥有的东西，这是一种战略性的迫切需求，可以提高未来竞争力。我们与新加坡的DSO、DSTA、SNEL、NCC、DBS等众多政府机构和企业有出色的合作关系，我们还与本地的云服务提供商合作，我们正在全天候工作，以在新加坡建立GPU云，以便你们可以进行AI研究、建设AI基础设施，并支持国家AI战略。我认为我们应该回顾历史，意识到去年很重要，但今年也很重要，就像生活中的任何竞技运动或努力一样，每一点都不是同样重要的，每一年也不是同样重要的，但今年确实很重要，我认为我们将回顾并认识到，只要你们所有人都关注发生了什么、为什么会发生以及它对未来的影响，你们就会因为你们的警觉和见解而获得回报。

　　以下为问答环节

　　主持人：Jensen，你非常了解我们。今天在这个房间里，我们有AI生态系统的不同部分，研究人员、开发人员、产品构建者、初创公司、大型科技公司的领导、大型跨国公司、新加坡大公司以及其他众多机构和企业的代表。我想先请国家超级计算集群主席吉穆发言，他一直与您的团队在Nvidia紧密合作，也许可以请他谈谈他的看法，同时也提出一个问题给您。

　　吉穆：早上好，Jensen博士，我对人工智能取得的成就感到非常惊叹。我曾与Jaie讨论过，从现在起六个月后会发生什么事情，我不确定未来会发生什么，但今天早上我们刚刚看到了Gemini的发布，这真是令人惊叹。我想问一个量子计算的问题，我了解Nvidia有一个愿景，要成为领先的量子计算公司，即使没有建造量子计算机。我想问一下，您是否可以分享一下您在这一领域的进展，以及使您的GPU成为量子模拟、开发量子代码、测试量子代码和控制量子计算机的硬件的挑战。谢谢。

　　Jensen：感谢您的问题，我真的很感激您了解Nvidia的战略，即要成为世界领先的量子计算公司，而不必建造量子计算机。我知道这听起来不合理，但这也深刻地反映了我们的核心价值观。让我告诉您我们的策略是如何的。我们避免做任何其他人也可以做的事情，即使这些事情可能会带来巨大的财富、利润和名声。事实上，有许多不同类型的量子计算机正在建造中，这表明世界并不需要我们来做。所以问题是，我们如何推动这个行业的发展？您知道，要构建下一代计算机，也就是世界的下一代计算机，您需要世界上最强大的计算机，以此来实现。这里有一些我们可以做的事情，首先，为了模拟量子算法，我们需要量子计算机模拟器，而这个模拟器最好是一台快速的计算机。正如您可能知道的那样，Nvidia的系统是量子算法开发的全球领先模拟器。还有一些非常重要的算法需要开发，比如后量子加密算法，现在必须开发这些算法。所以我们正在与许多不同的行业合作，无论是在数字生物学、密码学、天气模拟、碰撞模拟还是其他各种不同的模拟领域，都有合作。第二个问题是，即使在量子计算机出现的时候，对于某些问题，大数据小计算，量子计算机并不擅长。世界上有许多问题是大数据小计算的，比如推理，所以量子计算机和经典计算机或加速计算机之间的关系是必要的，我们称之为量子经典架构，因此我们正在帮助世界开发这种编程模型，我们称之为CUDA Quantum。我们正在开发编程架构和系统架构。第三个问题是，量子计算机与经典计算机之间的交互界面非常复杂，因为很明显，其中一个对噪声非常敏感，它们之间的交互必须非常低延迟，因此我们在经典系统、经典量子系统架构方面做了很多工作。我们正在与行业内的几乎每个人合作进行研究，如果在新加坡需要进行量子计算工作，我们可以为此提供很大的价值。感谢您的问题。

　　主持人：接下来，我们有Russell，他对这个问题有一些问题。Russell，请继续。

　　嗨，嗨，Jensen，欢迎来到新加坡。你知道，在2010s，你曾经来到我之前的公司，Applied Materials，我记得那个时候你的主题是为什么你们不能帮助我们制造更大的晶圆片，但那是一个不同的时代。我还要感谢您去年十一月中旬在我们的会议上发表讲话，那是在ChatGPT发布之前的10天左右。回到你刚才说到的，我真的很喜欢你说的每个公司拥有两个工厂的概念，一个是产品工厂，一个是人工智能工厂。我认为这个概念也适用于国家。因此，我们新加坡需要拥有我们自己的人工智能工厂，我认为我们的国家战略就是这样的。另一方面，新加坡是一个小国家，有600万人口，但在人工智能时代，我们是否有可能解锁我们传统的劳动力和人才方面的限制？包括Omniverse、数字孪生等这些能否结合起来，帮助解锁新加坡的一些限制？这是我的问题。

　　Jensen：非常感谢你的问题，你既然非常明确地提出了问题，实际上你已经知道答案。我想举个中国的例子，虽然有监管等原因，中国的科技公司依然有很多机会。中国从一个非常小的汽车产业发展到了世界上最大的汽车出口国，它生产了最先进的汽车，如Neo、XP、Li等等。这些伙伴都是英伟达的合作伙伴，他们是了不起的公司，他们从零开始建造世界级汽车的速度真是惊人，今天的汽车是非常复杂的，完全由软件定义，基本上就是一台带四个轮子的计算机，但他们以如此快的速度和卓越的水平完成了。这个速度和卓越的特点可以应用到每个行业。我对中国能够在计算技术领域成为世界一流的信心十足。Nvidia正在构建非常重要的技术，如人工智能，产生智能的能力显然对每个国家和每个公司都至关重要。美国希望对我们的技术进行监管，以确保最先进版本的我们的技术不可用于中国，这不是我能够参与的决定，但我们必须尊重它。所以我们首先必须设计符合监管要求的产品，我们已经在一年前监管出台时做到了，现在监管再次出台，我们正在制定新的产品线，这些产品线明确符合监管规定，我们将把这些产品提供给我们的中国合作伙伴，他们迫切希望我们尽快完成这项工作，我们正在全力以赴，希望能尽快为中国市场提供服务。谢谢。

　　问题：如果你比较不同国家，你认为对于国家在AI领域取得成功来说，最重要的两三个推动因素是什么？

　　Jensen：任何旅程中，你都需要退一步，问自己，这一次有什么不同。大约12年前，当我们开始研究深度学习时，行业其他人100%的努力都集中在计算机视觉领域，每个人都在image net的新网络而努力。但那个时候，世界各地的一些研究人员联系我们，要求我们帮助他们，因为他们意识到cuda实际上是普通人就可以拥有的超级计算机，让你可以在台式机上拥有一个超级计算机。只要他们学会如何以深度学习所必需的方式来编程Cuda，它将对他们非常有帮助。因此，我们发明了一个没有人谈论的东西，但它却是所有计算机科学家的领域特定语言，我对它着迷，但我们退一步问自己，这到底有什么意义，这将如何改变技术，这将如何改变计算，这将如何改变软件，这将如何改变我们的公司，我们思考后得到答案：深度学习在极限状态下将改变一切。所以我们开始了这个旅程。

　　今天开发软件的方式已经发生了根本性的变化，数据的重要性、数据策略的重要性、不同的数据策略等等都不同，现在对于国家来说，你们必须做同样的事情，必须问自己，这个情况有什么不同，我们必须采取哪些行动，必须制定哪些战略，为什么要建立资本结构、大学或其他一切都是有原因的，你需要一个环境，研究人员可以在其中受到启发，感受到被赋能，意识到有能力支持他们一生的工作。尽管可能听起来有点自私，但我还是要说的，一件事的象征意义也非常重要，必须有一个标志性的东西，可以吸引世界上最优秀的研究人员，释放创造。

　　问题：你好，我们正在开发一种100%离线运行的开源版本的ChatGPT，可以在笔记本电脑或服务器上运行。我有两个问题，第一个是您认为计算机架构在未来30年会如何发展？第二个问题是计算机内存和计算机之间的界限是否会模糊？

　　Jensen：首先，我想回答第二个问题，计算机内存和计算之间的界限将永远存在。这是因为我们有工作内存、短期内存、长期内存和持久内存等各种内存层次，这种数据层次结构永远不会改变。不同类型的数据需要不同速度的内存访问，这与计算效率有很大关系，因此这种界限将永远存在。计算机架构的核心部分就是计算和内存之间的界面，这个界面将永远存在。计算机的性能和效率与内存访问速度有很大关系，并且是计算机科学的核心部分。

　　至于第一个问题，计算机架构每隔十年左右就会发生一次大的变革。这个变革通常涉及到计算机抽象层次的提升。为什么是十年呢？因为这个时间段相对合理，它包括了三个人类周期，通常需要三次尝试才能实现某些事情。第一次尝试白费，第二次有苗头，第三次成功。在这十年的时间内，我们会看到计算机架构的抽象层次提高一个档次。现在，我们正在迈向一个阶段，原来的处理器可能不再占据主导地位，而大型语言模型已经成为下一代计算机“CPU”，但有趣的是，虽然是“CPU”但它运行在不是CPU的处理器上。所以，我认为未来计算机架构的一个特点是，大型语言模型将成为“大脑中枢”，而它将被一系列其他语言模型所环绕，就像计算机被一系列外围设备所环绕一样。你将拥有未来计算机的通用大型语言模型，它将被各种专业模型所包围，通过工作内存、上下文内存和存储进行连接。你将不再使用过去的SDK来连接它们，而是像组装团队一样将它们组合在一起，创造一个拥有不同团队成员的AI，它们将围绕一个大型语言模型聚集，形成检索、增强、生成等不同团队，然后将它们串联在一起。这就是我对未来计算机架构的看法。计算机架构已经发生了正式的变革。谢谢。

　　问题：你好，我来自新加坡华侨银行，我们是Nvidia的忠实粉丝，我们在自己的机房中运行着大约200个GPU。我的问题是，大家都在实验生成AI，大家都在进行大规模的尝试，但没有很多组织分享生产上的巨大成功。您认为组织之所以在这方面难以实现规模化，是什么原因？

　　Jensen：我非常感谢您的问题，确实如您所说，如果回顾一下，Lang chain何时真正崭露头角，各种Vector数据库何时开始出现，正如您所知，有很多不同的构建Vector数据库的方法。如何创建这些语义搜索引擎，如何对数据进行排名，如何分块，所有这些都需要一定的智慧。但全球采用这种新型计算能力的速度之快是非常不寻常的。因为未来的计算架构，即语言模型，已经民主化，实际上大幅降低了创建超级应用软件的门槛，这是有史以来第一次。这就是为什么每个人都在这个领域积极尝试，我自己的预测，六个月后，构建一个成功的ChatBot只需要一下午。

　　问题：嗨嗨，我叫J，我是新加坡国立大学计算机科学系的一名助理教授。我刚刚从伯利大学获得博士学位，我的研究领域包括人工智能、AI安全性、网络安全和密码学。我的问题是，假设您现在20多岁的年纪，处于当前的世界中，您会有什么感觉，作为一名新毕业生，无论是硕士、本科生还是新获得博士学位的UCS毕业生。回想起30年前，您当时在想什么。

　　Jensen：我首先回答您的第一个问题。如果我现在在20多岁，在当前的世界中，我可能会考虑在大学或研究机构从事深度学习和人工智能的研究。这个领域充满了挑战和机会，而且对未来社会有着巨大的影响。此外，我也会考虑加入一家创新性的技术公司，特别是那些专注于推动技术前沿的公司，因为这些公司通常提供了丰富的学习和发展机会。至于30年前的情况，我会告诉您，那个时候计算机行业正处于革命之中，微处理器和摩尔定律引领着行业的发展。当时的主要关注点是个人计算机和通用处理器，而Windows操作系统也即将崭露头角。我所在的公司（Nvidia）当时的理念是，通过开发专用处理器来提高某些领域的性能，如计算机图形。这种专用处理器可以显著降低计算成本或提高性能，从而推动新的应用领域的发展。

　　至于您提到的第二个问题，我认为跨领域的研究非常有价值。如果您在多个领域都有深入的专业知识，您将能够更全面地看待问题，这对于解决复杂的挑战非常重要。Nvidia之所以成功，很大程度上归功于我们能够同时考虑应用、算法、系统和芯片，这在行业中相对罕见。

　　对于那些热衷于在学术界为语言模型和人工智能研究做出重大贡献的研究者，我建议积极寻求跨领域合作和创新，并寻找合适的合作伙伴，以获得必要的资源和支持。同时，我们需要意识到，当前的大学可能不具备进行此类研究所需的计算资源。解决这个问题可能需要大规模的投资，但这将有助于推动开放科学和知识的发展，使更多的人能够在这一基础上构建。

　　问题：你好，我们正在建造自主送餐机器人(11.900, 0.21, 1.80%)的小型创业公司。我们面临的问题是，过去曾经发生芯片短缺，正如您提到的，需求量大于供应量，而作为一家小公司，没有人愿意向我们承诺任何东西，因为我们太小。但如果在几年后，我们变得很大，需要大量芯片，您是否有任何建议？Nvidia是否有面向初创公司的计划？

　　Jensen：我要道歉，当你没有足够的资源时，时间就变得非常宝贵。当我开始Nvidia时，我刚刚筹集到资金，虽然我有钱了，但我没有一台用来设计芯片的计算机，我感到非常绝望，因为初创公司的时间不多。如果你需要GPU基础设施，可以联系我们，我们有一个名为“Inception”的计划，旨在帮助规模较小的公司，帮助它们成长，以便有一天你们也能成为一个大公司。我的唯一要求是，如果有一天你们成为一个大公司，请不要忘记帮助过你们的小人物。

　　问题：我是Lan Basrin，一名心脏病学家，我领导东南亚的AI心脏影像研究实验室。首先，我要呼吁大家关注自己的心脏健康。我的问题是，您提到了GPU和计算资源的重要性，不仅在国家层面，也在不同行业之间竞争激烈。我想问一下，在不同行业中，您认为医疗保健的地位如何？另外，新加坡作为一个国家，如何更具体地为该地区的基于AI的医疗保健服务提供支持？

　　Jensen：首先，我要感谢您的问题，我们有一个名为Clara的健康护理实践，涵盖从基因测序的软件定义到医学影像、电子显微镜、虚拟筛选分子动力学模拟等领域。我们在这些领域都起到了核心作用，拥有一个重要的平台叫做BioNemo，我建议您查看一下，它是数字生物学的基础模型，数字生物学当然是一个不同于生物学的复杂领域，不同领域的数字生物学可能需要不同的基础模型。我们与公司内部的大型团队合作，与研究人员合作，我们将这些大型语言基础模型用于数字生物学的不同领域，作为云中的api功能，因此您可以发送请求，它将返回蛋白质、化学品、构象等等。如果您问我下一个巨大而激动人心的行业是什么，我会告诉您是生物学，因为这是第一次我们可以使用计算机来理解这种叫做生命的不可思议的复杂性。如果我们能理解所有这些不同的语言，那么我们肯定会找到一种理解蛋白质、化学品、器官以及人类的不同OMS的方法。因此，我认为计算机架构已经正式发生了变化。感谢你。