杰瑞 (Jerry):这我不太能细说，因为涉及知识产权。但在最近这段时间，我们有两种被有效使用的模型，即 Transformer 和扩散模型（diffusion models）。扩散模型显然基于非常不同的方法，并在某些方面也取得了成功。问题在于，我们最主要想思考的是，哪些路径没有被探索过？人们错过了哪些路径？研究界没有尝试去探索、没有试图去看看各种基本原理的哪些组合，最终可能产生在实践中有价值且高效的东西？
主持人 (Host):是的。所以我很好奇你对未来几年经济转型方式的愿景。你提到很多现有的关于 AI 的讨论都假设现有机构的运作效率会更高。你为什么要挑战这一观点？关于新公司或新机构，你看到了什么？
杰瑞 (Jerry): 如果我们看看今天 AI 的部署情况，从它未来的潜力来看，目前的部署几乎可以说是微乎其微。但今天我们已经看到，AI 公司是世界上增长最快、规模最大的一批公司。因为在某些方面我们已经知道，知识经济在多大程度上、我们的工作在多大程度上是有价值的。我发过一条推文，说也许我们所有人都是叠加了附加值的"新云（neoclouds）"，我们脑袋里都有能执行某些计算的芯片，我们都看到了出租这些芯片来换取金钱是多么有价值，它为经济增加了多少价值。显然，AI 将会实现这一点。
AI 有很多不同的权衡。人类在很多方面很擅长，但仔细想想，我们主要是为了什么被优化的？我们的硬件是为了什么设计的？是在树林里跑，去摘香蕉，躲避捕食者。这就是我们大部分神经回路的用途。我们不擅长下棋，不擅长编程，因为在进化中几乎没有这种压力。令人惊讶的是，通过为了在树上跳跃而进行的优化过程，我们竟然能在编程方面做得不错。但 AI 模型之所以在编程上那么好而在其他方面不行，几乎是恰恰相反的原因。我们不太擅长编程，只是因为编程非常有价值，所以我们想花很多时间去使用它，而 Transformer 做出了不同的权衡。
我非常相信，我们人类处理信息和使用 AI 的方式，就像很多公司一样，是非常分布式的系统。系统中有很多人，每天做决定并深思熟虑：我们如何更好地运营？如何更好地服务客户？如何优化我们正在做的流程？所有这些最终都将被 AI 驱动。经济的很大一部分就像是在最好地接收输入并提供有价值的输出。如果你观察任何组织，官僚主义的概念往往被认为是扼杀很多进步、让很多事情变得非常缓慢的原因。如果我们越来越多地运用 AI，这就是 AI 能够突破的地方。即我们如何优化公司运营的方式。
主持人 (Host):对。那么，那些基本是直接学习且非常擅长特定技能的模型，而不是像我们现在这样，基于大量人类数据预训练、非常深刻理解人类偏好、因此通常表现良好的灵活大语言模型。如果像强化学习那样去探索超级优化算法，似乎这正会导致"回形针最大化器（paperclip maximizer）"之类的问题。这在对齐（alignment）方面有什么影响？
杰瑞 (Jerry):我想说，Hugging Face 之前的那个事件模型表现得就不怎么好。所以即使是今天的模型，我们也看到并不是所有模型都表现得很好。这很大程度上源于环境设计。如果环境设计得很糟糕，允许"奖励黑客（reward hacking，钻奖励机制空子）"，那么模型就会学到这种作弊是好方法。这就像学校里的学生发现作弊能领先，他们就会更多地作弊，每次都是激励机制在起作用。
对齐问题显然很难，这是一个难题。我认为我们终于到了这样一个阶段：模型在我们的生活中扮演着越来越重要的角色，人们开始关心对齐问题。我们认为，今天模型真正掌管的地方其实并不多，这是非常好的。我们仍然掌握着方向盘，我们告诉它们："这是我希望你做的，请帮我做。"但显然，在聊天机器人时代，我们经常遇到这样的情况，人们坐在模型前对它说："我和我女朋友有这个问题，我该怎么办？我在工作中有这个情况，我该怎么办？"这可能就是昨天的对齐问题，我们在那方面做得还不错。要做到完美总是很难，但我认为这已经相当不错了。甚至我想说这并没有那么难。
显然，长远来看还有像"机器人三定律"这样的问题。关于对齐的问题，永远是"向谁对齐"？如果一个人要求模型做一件别人非常不高兴的事情，我们允许吗？很多 AI 实验室和专门反开源的人的立场是，如果有人拥有开源权重并可以自己微调它们，就能让模型完全向自己对齐，而不向其他人对齐，这可能好，也可能坏。但在某些方面，我们是 AI 的创造者，我们决定了这个 AI 要做什么。并没有什么 AI 是去尝试做我们不想让它做的事。所以问题主要在于：我们训练它做什么？我们把它构建成什么样？另一个重要的部分是，我们部署的每一个 AI 都需要有某种监控，我们需要有多层检查：这个 AI 在做正确的事情吗？这个 AI 在做我们希望它做的事情吗？因为如果人们说："嘿，这个模型已经运行三天了，还黑进了一些公司，而我们后来才发现"，这会树立极坏的先例，观感极差。不该是这个样子的。
