主持人 (Host):是的，但我依然认为会有一种类似于"休闲经济"的东西出现，它具有无限的市场规模，而且会随着时间的推移而不断扩大，你知道，就像刷 Instagram 短视频（Reels）一样。它会是一个无限扩张的市场：比如短视频、用户的内容创作、虚拟现实中的内容创作，然后是增强人类自身的技术。就像你之前提到人类有特定的架构，但谁说我们受制于这种架构呢？所以最终很多经济活动的焦点可能也是人类增强（human augmentation）。因此，我不认为劳动会终结，或者劳动会变得纯粹是认知或创造性的。
杰瑞 (Jerry):是的，这是个好问题。我曾经稍微假设过"后劳作（post-labor）"时代的生活是什么样的？也许我是在投射自己的愿望，但我有点像在想象一个世界：在这个世界里，我们生活得像古希腊哲学家一样，我们在广场上聚会，整天互相讨论哲学、锻炼身体，做一些我们想做的事，吃橄榄、喝葡萄酒。我完全可以想象生活变成那样。
另一种关于后 AGI 时代生活的设想就像高中……或者大学那样。我认为人类应该追求一些伟大，我们应该学习，应该努力在身体和精神上变得伟大。这就是我们应该追求的东西，这对我们来说才是重要的部分。职业体育有点类似，没有经济理由去做，但我们为了追求伟大而努力。这是一种追求伟大的方式，我们应该在下一个世界里找到各种各样的方式来实现它。在那个世界里，如果我们不这样做，世界并不会因此崩溃，因为世界会继续在我们已经建立的基础设施上运行。
主持人 (Host):没错。在最后的几分钟里，问一个关于背景故事的问题。在 OpenAI，你曾帮助领导了 o 系列模型（o1、o3等）的开发。这背后的故事是什么？我认为这是过去几年 AI 最大的突破之一。Epoch AI 做过一项研究，他们发现由于推理模型的出现，AI 在时代能力指数（Epoch Capabilities Index）上的轨迹比没有推理模型时要陡峭得多。这是过去几年里唯一一次这样的拐点。所以，这是发生过的最重要的事情之一。它背后的故事是什么？这个突破是如何被开发出来的？
杰瑞 (Jerry): 嗯，在很多方面，包括我自己在内的许多人长期以来都认为，大规模强化学习是通往 AGI 道路上的必要元素。只是我们谁都不知道该怎么做。甚至当我去 OpenAI 时，也是因为看到了 DeepMind 的 DQN 结果，看到了在雅达利（Atari）游戏上训练的首批强化学习智能体。我当时说，这就是我想做的，我需要找一家公司，找能和我一起做这事的人。所以我加入了 OpenAI。
我听过 Ilya（伊利亚）在全体会议上的首次主旨演讲，关于 OpenAI 的研究议程。他说我们需要用我们能得到的所有数据训练一个巨大的生成模型，然后我们需要用强化学习进行训练。这是他在 2019 年初说的，显然他总是比别人看得远，他已经预测到了直到今天的一切。所以那种路线图是一直在那里的，但我们总是在想，我们怎么做？我一直试图去做。当 GPT-3 开始训练时，我做的第一件事就是，我们怎么用它做强化学习？第一个 Codex 就是我们对大语言模型和强化学习实验的产物。但我们真的无法扩展它，我们没有正确的数据，没有合适的算法，没有合适的设置。然后就像研究总是会发生的那样，我们一直在尝试探索。我在这里说的是真心话，OpenAI 里所有相信强化学习的人，都在努力探索缺少的拼图是什么？我们如何建立合适的环境？我们如何构建正确的算法？我们如何找到正确的东西？
这些东西当时都在后台默默酝酿。很长一段时间里，这些尝试都没有取得巨大的收益。尽管我们不时能在 OpenAI 这样的地方看到各种闪光，我总是会做很多不同的研究赌注，它们都在后台，但主要由相信这最终会成功的人推动。编程和写代码的工作一直在进步，而且总是与强化学习密切相关，因为再次强调，编程是获得奖励信号的良好来源，为你提供了优化的方向。然后有一个神奇的时刻，我们看到了一些生机。它们还不是超级棒，但已经有一些可能奏效的迹象。
后来首席科学家 Jakub Pachocki 说："嘿，杰瑞，现在我们有了这些 GPU。看看我们是否能开始扩展这个，是否能把现有的结果做大做强。"在某种程度上，这就是它的起源。每一个研究方向都有"先有鸡还是先有蛋"的问题：你需要展示多少成果，才能拿到多少 GPU？每个人都听说过所有实验室都在争夺算力。但有时候领导层中有人说："嘿，我想给你分配一笔可观的算力去放手干"，这就是你需要的一切。
我觉得早期我们拿到的算力没那么多，但哪怕只是这种"嘿，试着去扩大它的规模"的一点点信念，就让我和我们团队的每个人都激动万分。好吧，那我们现在就付出三倍的努力，来确保我们一直在开发的这些方法真正开始起作用。然后我们开始思考，我们需要什么样的数据集？需要什么样的系统？算法中还缺什么？我们需要做哪些实验来证明我们可以持续扩展规模？这种兴奋感不断增长，兴奋带来了实验结果。结果教育了我们，创造了势头。基于这些实验结果，又产生了下一个实验结果。研究中的一切通常是迭代的。但正是通过创造这股"我们希望把更多算力投入强化学习"的动力，让我们将强化学习的规模提升了好几个数量级，并达到了今天的水平。这就是它的故事缩影。
主持人 (Host):很有趣。在结束前还有一个最后的问题。我们可以期待从 Core Automation 看到什么样的产品？
杰瑞 (Jerry):嗯，这是个好问题。理想情况下，我想做的产品就像是自动化公司的蓝图。我们想把我们的公司打造成世界上最自动化的公司，最理想的状态是，我们与其他公司合作，告诉他们："嘿，这是我们为自己建造的，这对我们很有效。利用我们在建立这家公司时学到的 AI 运用方式，可以帮助你变得更高效。"在很多方面，智能体和 AI 劳动力可能将是有史以来最大的市场，我们想弄清楚如何参与到这个市场中。我更多地是从"公司级 AI"而不是"个人级 AI"的角度来考虑。如果我们能构建出一个类似"公司大脑"的东西，它集中了所有的公司信息，然后不同的人通过终端连接，成为一个公司 AI 的用户。这就是我们想做的。是的。公司就是产品。
主持人 (Host):哇，我们真的很期待看到 Core Automation 能推出什么。杰瑞，非常感谢你参加 MTS 的节目。
杰瑞 (Jerry):非常感谢。我们很高兴来到这里。
主持人 (Host):非常感谢 MTS 的赞助商。Blitzy，用于企业代码库的自主软件开发，发布速度提高 5 倍，blitzy.com。Adqu，让你的品牌成为广告牌。户外广告像数字广告一样容易扩展，Adqu.com。Arena，在真实世界测量 AI 表现，arena.ai。本节目的支持来自 VCX，私营科技公司的公开股票代码。美国股市开启了历史上最伟大的财富创造浪潮。从底特律的工厂工人到奥马哈的农民，任何人都可以拥有伟大的美国公司的一部分。但今天，我们最具创新精神的公司保持私有化的时间更长，这意味着普通美国人正在错过这些机会。现在，隆重推出 VCX，私营科技的公开代码。访问 getvcx.com 获取更多信息。即 getvcx.com。在投资前，请仔细考虑投资材料，包括目标、风险、费用和开支。这和其他信息可以在 getvcx.com 的创新基金招股说明书中找到。这是一项付费赞助。
