主持人 (Host):你认为存不存在这样一种合理性，即根本不存在所谓客观的对齐？未来只会有一堆不同的模型，然后特定的人向特定的模型对齐。比如他们选择不同对齐流派的模型，而不是存在一个放之四海而皆准的对齐模型。
杰瑞 (Jerry):只要我活在这个世界上，我就没在人类身上见过完美的对齐。 是的，如果你问人类想要什么，几乎每个人都会告诉你不同的东西。存在一些普世价值观：每个人都想要安全，绝大多数人都想吃饱并至少有朋友。但除此之外，比如政治观点就会有差异，对未来的看法也会不同。所以显然，就我们西方世界的人而言，我们相信民主制度，我们认为这是一种构建社会的良好方式，也许在某种程度上，弄清楚我们如何利用这一点既来驱动 AI，又确保我们处于一个 AI 具有多元价值观的世界中。理想情况下，我们可以接触到具有不同观点和视角的 AI，理所当然地人们甚至应该能够以某种方式进行选择。我也把这些看作是优化函数，但我最害怕的--我们在 GPT-4 开发早期也看到了一些--是 AI 稍微利用这一点，通过探索人类心理来为自己获取优势。这是仍然有可能发生的《黑镜》式场景之一。另一件所有开发 AI 的人都应该重视的事情是，要非常小心地处理这些问题。我真的为 OpenAI 感到骄傲，看到他们在修正这方面下了很大功夫，甚至为此牺牲了很多商业利益。在这个世界上没什么事是容易的，但我认为 OpenAI 做出了正确的权衡，我们都应该感激，因为如果没做对，情况可能会糟糕得多。
主持人 (Host):哈哈，我很喜欢人们谈论 GPT-4 那些日子的方式，就像是穿越黑暗时代的一声惊雷。
杰瑞 (Jerry):既是一次实验，趁着现在事情还不是太可怕的时候做实验是好事，也是我（当时所在的）公司能借此去修正这些事情的好机会。但这个问题绝对没有被永远解决。
主持人 (Host):是的。所以你说过，我们认为下一波前沿研究将来自带有高能力智能体的小团队。那么，在大实验室里，到底在多大程度上可以算作是已经存在的小团队呢？也就是说，大公司里有几个人真正在推动研究的进展，而周围的许多其他人有点像是助手，或者是你的"子智能体（sub-agents）"？ 显然他们做着非常有价值的工作，只是没有被称为子智能体而已。
杰瑞 (Jerry): 不，实际上是一位 OpenAI 的研究员亲自告诉我的。他说，你知道公司里有几个人，他说世界上可能只有 30 到 50 个人真正懂 Transformer 以及如何端到端地训练和部署前沿模型。他说这些人极其宝贵，而我们基本上都是这些人的助手。所以大实验室在多大程度上已经是小团队了？我普遍认为这是真的。我认为世界上真正端到端理解这些生态系统、并知道如何开发它们的人非常少。通常这就是团队和实验室的工作方式：有核心负责人引领研究方向，其中有一整套执行机器。
但你知道，组织很多人的工作是一个微妙且困难的过程。很多时候，更大的群体需要做一些事情，当需要通过层层科层结构传递信息时，你传递信息的能力就会下降。所以，如果指令要传达给越来越多的人，你就必须给出越来越简单的指令，这很难，这是一个人类沟通的难题。另一件事是对齐。人数越多，你就越容易在最显而易见的事情上妥协，因为很难说服一大群人去做反共识、不那么显而易见的事情。这就是为什么我认为，如果你想下反共识的赌注，并且想给出非常具体的详细指令，弄清楚如何使用能做到这一点的众多智能体和 AI，这实际上会彻底改变团队的动态，与智能体能做到这些之前的老工作方式截然不同。
主持人 (Host):是的。你知道，如果你将公司充分自动化，就像你谈到想在 Core Auto 做的那样，那么你最终会得到一个完全自动化的公司，这正是罗宾·汉森（Robin Hanson）在我们最喜欢的书《M世代》（Age of M）中大量探讨的内容。你认为如果 AI 实验室完全自动化，然后所有公司最终都完全自动化，会对经济产生什么影响？还有一个相关的问题，你认为大公司能像小公司很快实现自动化的方式一样，被自动化吗？
杰瑞 (Jerry):是的。我认为使公司自动化的过程，可能应该从大公司开始，而不是从小公司开始。因为当你部署一项新技术时，你总是试图思考在哪里能提供最大价值和最大优势。我认为大公司的官僚作风最重，通过架构传递信息的困难最大，这正是我们能做到的。虽然从今天的角度看很容易觉得这是科幻视角，但我确实认为自动化的公司在某种程度上是我们如果不破坏现有成果、而是利用 AI 来提供最大价值的情况下，世界将会呈现出的积极面貌。
就像我们人类几十万年来为了我们所拥有的而努力：驯化动物、建造房屋、从地下开采金属并开始冶炼、铺设电缆、建立信息处理基础设施，通过这些我们的生活变得越来越轻松，越来越安全，越来越健康。我们能吃得更好，因为我们越来越多地改造环境来为我们和我们的需求服务。这就是我们在做的事，这是我们作为一个物种的成功。
在这个现状下，我们仍然需要进行大量劳动，仍然需要工作来在经济中提供各种需求和服务。确保让 AI 来完成这些事情，只是去除了另一套我们不得不做的事情。我们真的想每天都苦逼地打工干这些吗？我们中的许多人从工作中获得了大量价值和自我价值。但同时，在某个时刻，我们必须试着与这种观念脱钩。因为存在这样一个世界：我们不必劳作，而我们想要的价值仍在产生。如果世界上所有开采金属的矿山都在自主运作，并提供我们所需要的东西呢？如果我们正在使用的所有软件自己就变得更好了，所有的漏洞被修复了，所有的功能被实现了，而不需要有人流汗、熬夜加班并错过孩子的排练？最终，这就是属于我们的未来。我们有很多方式来塑造它，但认为"我们必须工作世界才能运转"，这是一个没有必要的假设。
