OpenAI 首席执行官 Sam Altman 谈 GPT-4、ChatGPT 和 AI 的未来 | Lex Fridman 播客 #367

引言：OpenAI 的历史、AI 的危险与可能性

我们长期以来一直是一个被误解和遭到严重嘲笑的组织。比如，当我们开始时，我们在 2015 年底宣布成立该组织，并表示我们将致力于 AGI（通用人工智能）。当时的人们认为我们简直是疯了。

以下是对 Sam Altman 的访谈，他是 OpenAI 的首席执行官（CEO），该公司推出了 GPT-4、ChatGPT、DALL·E、Codex 和许多其他 AI 技术。这些技术无论是单独还是整体来看，都构成了人工智能、计算和整个人类历史上最伟大的突破。

请允许我说几句关于人类文明历史此刻 AI 的可能性和危险。我认为这是一个关键时刻。我们正站在根本性社会转型的悬崖边，很快——没有人知道确切时间，但包括我在内的许多人相信就在我们有生之年——人类物种的集体智慧将开始在许多数量级上逊色于我们大规模构建和部署的 AI 系统中的通用超级智能（general super intelligence）。

这既令人兴奋，又令人恐惧。

这就是为什么现在与这些领导者、工程师和哲学家，包括乐观主义者和怀疑论者的对话至关重要。这些不仅仅是关于 AI 的技术对话。它们是关于权力、关于部署、制约和平衡这种权力的公司、机构和政治系统的对话。它们是关于激励这种力量的安全性以及与人类对齐（human alignment）的分布式经济系统的对话。它们是关于部署 AGI 的工程师和领导者的心理学，以及关于人性的历史、我们大规模行善和作恶的能力的对话。

我深感荣幸能认识并与许多在 OpenAI 工作的人（包括 Sam Altman、Greg Brockman、Ilya Sutskever 等）进行过公开和私下的交流。Sam 对我完全开放，愿意进行多次交流，包括公开和私下的具有挑战性的对话，这对我很重要。我将继续进行这些对话，既是为了赞美 AI 社区令人难以置信的成就，也是为了钢骨化（steel man）各种公司和领导者做出重大决策时的批判性视角，目标始终是尽我微薄之力提供帮助。如果我失败了，我会努力改进。

第一部分：GPT-4 的本质与 ChatGPT 的“魔力”

1.1 GPT-4 是什么？

LF：从宏观层面看，GPT-4 是什么？它是如何工作的？它最令人惊叹的地方是什么？

SA：这是一个我们日后回顾时会说它是一个非常早期的 AI 的系统。它很慢，有很多错误（buggy），很多事情做得不太好。但最早的计算机也是如此。尽管它们花了数十年才进化，但它们仍然指明了一条道路，指向了将对我们生活非常重要的东西。

LF：您认为这是一个关键时刻（pivotal moment）吗？50 年后，当人们回顾早期系统时，哪一代 GPT 会被写入关于人工智能历史的维基百科页面？

SA：这是一个好问题。我倾向于将进步视为这种持续的指数级增长（continual exponential）。我们无法说“这就是 AI 从未发生到发生的时刻”。我很难确定某一个单一事物。我认为这是一个非常持续的曲线。历史书会写 GPT 一、二、三、四还是七，这由他们决定。我真的不知道。

如果非要从我们目前所见中选一个时刻，我可能会选择 ChatGPT。重要的不是底层模型，而是它的可用性（usability），包括 RLHF 和它的用户界面（interface）。

1.2 ChatGPT 与 RLHF 的作用

LF：什么是 ChatGPT？RLHF（Reinforcement Learning with Human Feedback，人类反馈强化学习）是什么？是什么让它变得如此美味？

SA：我们用大量文本数据训练了这些模型，在这个过程中，它们学到了一些关于底层表示（underlying representations）的东西。它们可以做很多令人惊叹的事情。但是，当您第一次使用我们所说的基础模型（base model）时（即训练完成后的模型），它在评估中表现很好，可以通过测试，具有知识。但它不那么有用，或者至少，可以说不容易使用。

RLHF 是我们采纳一些人类反馈的方式。最简单的版本是，展示两个输出，询问人类评估者更喜欢哪一个，然后用强化学习（reinforcement learning）将其反馈给模型。

这个过程效果非常好，而且在我看来，数据量非常少。RLHF 是我们将模型与人类希望它做的事情对齐（align）的方式。

LF：所以，有一个巨大的语言模型在巨大的数据集上训练，以创建存在于互联网中的背景智慧（background wisdom）和知识（knowledge）。然后，通过这个过程在上面添加一点人类指导，它就显得更棒了。

SA：也许只是因为它更容易使用，更容易获得您想要的东西。您第一次就能做对的次数更多，而且易用性非常重要，即使基础能力以前就存在。

LF：这就像它理解了您正在问的问题，或者感觉您们在同一页上。

SA：它正在努力帮助您。

LF：这是一种对齐感（feeling of alignment）。

SA：是的。

LF：您说这不需要太多数据，不需要太多人类监督（human supervision）？

SA：公平地说，我们对这一部分的科学理解比对最初创建这些大型预训练模型（large pre-trained models）的科学理解要处于更早期的阶段。但是，是的，数据量更少，少得多。

LF：这太有趣了。人类指导的科学（The science of human guidance）。这是一门非常重要的科学，用于理解如何使其可用、如何使其明智（wise）、如何使其符合伦理（ethical）、如何在我们考虑的所有方面使其对齐。

1.3 预训练数据集的规模与组成

LF：它的训练数据集是什么？您可以大致谈谈这个数据集的庞大程度（enormity）吗？

SA：我们投入了巨大的努力，从许多不同的来源汇集了这些数据。

LF：其中有多少是 memes Subreddit？

SA：不是很多。如果多一些可能会更有趣。

LF：所以，其中一些是 Reddit，一些是新闻来源，比如大量的报纸，还有通用网络（general web）。

SA：世界上有大量内容，比大多数人想象的要多。

LF：是的。多到，任务不是找到内容，而是过滤掉内容，对吗？

SA：是的，是的。

1.4 创造 GPT-4 的多重组件和预测科学

SA：我认为，关于创造这个最终产品（比如 GPT-4，也就是我们在 ChatGPT 中实际发布给您使用的版本）有哪些部分必须结合在一起，以及我们必须在流程的每个阶段想出新想法或只是非常出色地执行现有想法，这一点还没有得到很好的理解。其中投入了相当多的东西。

LF：您已经说过，对于 GPT-4，在某些步骤上已经出现了成熟（maturity）。比如，能够在进行完整训练之前预测模型的行为。

SA：顺便说一句，这难道不令人惊叹吗？ 就像存在一个科学定律（law of science），让您能够预测，对于这些输入，输出会是什么。

LF：这接近科学吗？因为您使用了定律（law）和科学（science）这两个雄心勃勃的词语。

SA：接近。

SA：我要说它比我敢于想象的要科学得多（way more scientific）。

LF：所以，您可以仅仅通过一点点训练就知道经过完全训练的系统的独特特征（peculiar characteristics）？

SA：是的，就像任何新的科学分支一样，我们会发现新的不符合数据的东西，然后必须提出更好的解释。这是科学中持续的发现过程。但是，以我们现在所知道的，即使是我们 GPT-4 博客文章中提到的内容，我认为我们都应该对我们能够预测到目前的水平感到敬畏（in awe）。

1.5 模型的知识与推理能力

LF：您说 GPT-4 这个语言模型，在引号中，“学习了某些东西”。在 OpenAI 内部，对于像您和 Ilya Sutskever 这样的工程师来说，对那个“某些东西”的理解是否越来越深入，或者它仍然是某种美丽的神秘魔法（beautiful magical mystery）？

SA：我们有很多不同的评估（evals）可以讨论。

LF：什么是 eval？

SA：这是我们在训练时和训练后衡量模型的方式，例如“它在某些任务上的表现如何？”

SA：但真正重要的是，我们把所有的精力、金钱和时间投入到这个东西中，然后它的产出，对人们有多大用处？这给人们带来了多少愉悦（delight）？这在多大程度上有助于他们创造一个更好的世界？新的科学、新的产品、新的服务等等。这才是最重要的。我认为我们正在更好地理解，对于一组特定的输入，能给人们提供多少价值和效用（value and utility）。我们是否完全理解为什么模型做了一件事而不是另一件事？当然并非总是如此，但我要说，我们正在一点一点地把迷雾推开（pushing back the fog）。

LF：但我不确定我们是否能完全理解，因为它正在将所有网络数据，即大量网络数据（huge swath of the web），压缩成少量参数（small number of parameters），压缩成一个有组织的黑箱（black box），那是人类的智慧（human wisdom）。那是什么？

SA：我们称之为人类知识（Human knowledge）。

LF：知识和智慧有区别吗？我觉得 GPT-4 也可以充满智慧。从事实（facts）到智慧（wisdom）的飞跃是什么？

SA：我们训练这些模型的方式很有趣，我怀疑太多的处理能力（processing power）（如果可以这么说的话）正在用于将模型用作数据库（database），而不是将模型用作推理引擎（reasoning engine）。这个系统真正令人惊奇的地方在于，在某种推理的定义下（当然我们可以争论，而且有很多定义并不准确），它可以进行某种推理。

我认为大多数使用过这个系统的人会说，好吧，它正在朝这个方向做一些事情。我认为这很了不起，也是最令人兴奋的事情。不知何故，通过消化人类知识，它正在形成这种推理能力（reasoning capability）。在某些方面，我认为这将是人类智慧的补充（additive to human wisdom），而在其他方面，您可以使用 GPT-4 做各种事情，并说里面根本没有任何智慧。

1.6 拟人化、偏见与公开构建的权衡

SA：这总是很容易将这些东西拟人化（anthropomorphize）得太多，但我也深有同感。

SA：您问人们第一次想问 ChatGPT 什么问题，这在某种程度上说明了人们的特征。

LF：乔丹·彼得森（Jordan Peterson）发推文问了一个政治问题。他要求 GPT 对现任总统乔·拜登（Joe Biden）和前任总统唐纳德·特朗普（Donald Trump）说一些积极的话。然后他跟进，要求 GPT 报告它生成的字符串有多少个字符。他展示了关于拜登的积极回复比关于特朗普的要长得多。彼得森要求系统用相同长度的字符串重写，它理解了，但失败了。有趣的是，GPT（当时可能是基于 3.5）似乎对此进行了反思（introspective），承认自己未能正确完成任务。彼得森将此描述为 ChatGPT 在撒谎，并意识到自己在撒谎。但那只是人类的拟人化。

SA：这里有两件独立的事情。第一，有些看起来应该显而易见和容易的事情，这些模型却难以做到。数字符号、数字单词之类的东西，以它们目前的架构，模型很难做得好，准确性不高。

第二，我们正在公开构建（building in public），我们正在发布技术，因为我们认为世界尽早接触这项技术很重要，以帮助塑造它的发展方向，帮助我们找到好的和坏的地方。每次我们发布新模型时，外界的集体智慧和能力都会帮助我们发现我们内部无法想象或做到的事情。

这种迭代过程（iterative process）——发布东西，发现好的和坏的部分，快速改进，并给予人们时间感受技术、与我们一起塑造并提供反馈——我们认为非常重要。这样做的权衡是公开构建的权衡，即我们发布的系统将非常不完善（deeply imperfect）。我们希望在风险较低时（stakes are low）犯错。

SA：ChatGPT 3.5 推出时的偏见（bias）当然不是我引以为傲的。GPT-4 已经好得多。许多批评者——我非常尊重这一点——表示他们在 3.5 中遇到的许多问题在 4 中得到了极大改善。但是，永远不会有两个人会同意一个单一模型在每个主题上都是公正的。我认为答案是随着时间的推移给予用户更多个性化、精细的控制。

LF：我试着和 GPT-4 谈论乔丹·彼得森，我问它乔丹·彼得森是否是法西斯主义者（fascist）。它首先提供了背景信息，描述了彼得森是谁，他的职业生涯。它指出有一些人称他为法西斯主义者，但这些说法没有事实依据（no factual grounding）。它描述了彼得森的信念，他一直是各种极权主义意识形态（totalitarian ideologies）的直言不讳的批评者，他相信个人主义（individualism）和与法西斯主义意识形态相矛盾的各种自由。它继续进行了很好的阐述，像一篇大学论文。

SA：我希望这些模型能够为世界带回一些细微差别（nuance）。Twitter 在某种程度上破坏了它们。也许我们现在可以挽回一些。

LF：我问了关于 COVID 病毒是否从实验室泄漏的问题。回答也非常细致入微。它描述了两种假说，并描述了每种假说可用的数据量。这就像呼吸到新鲜空气。

SA：当我还是个小孩子时，我认为构建 AI 会是有史以来最酷的事情。如果你告诉我，不仅我有机会参与，而且在制作了一个非常非常幼年的原始 AGI（very, very larval proto AGI）后，我要花时间做的事情是与人争论它夸赞某人的字符数是否不同于夸赞另一人的字符数，我当时不会相信。但我现在更理解了。我对此抱有同理心。

LF：您隐含的意思是我们在大问题上取得了巨大飞跃，却在为小问题争论。

SA：聚合起来，小问题就是大问题。所以我理解。这只是，我理解为什么这是一个如此重要的问题。但不知何故，我们却纠结于这件事，而不是“这对我们的未来意味着什么？”

第二部分：AI 安全、对齐与开放性

2.1 GPT-4 发布的安全考量

LF：随着 GPT-4 的发布，您在安全问题上投入了多少精力？

SA：我们去年夏天完成了它。我们立即开始将其交给人们进行红队测试（red team）。我们开始对其进行一系列内部安全评估（internal safety evals）。我们开始尝试研究不同的对齐（align）方法。

我们能够在其上进行大量的测试，这需要时间。我很理解为什么人们希望我们立即发布 GPT-4，但我很高兴我们是以这种方式做的。

2.2 RLHF 与对齐问题的限制

SA：我想非常明确地指出：我认为我们尚未发现一种方法来对齐一个超级强大的系统（super powerful system）。我们有一个适用于我们当前规模的方法，称为 RLHF。

RLHF 提供的不仅仅是对齐能力，也许它甚至主要不是对齐能力。它有助于打造一个更好、更可用（more usable）的系统。人们通常认为对齐和能力是正交的（orthogonal vectors），但它们非常接近。更好的对齐技术会带来更好的能力，反之亦然。

因此，从某种意义上说，我们为使 GPT-4 更安全、更对齐所做的工作，与我们解决研究和工程问题、创建有用和强大模型所做的所有其他工作看起来非常相似。

LF：所以 RLHF 是一个广泛应用于整个系统的过程，人类基本上在其中投票，选择哪种表达方式更好。

SA：不存在一套单一的人类价值观，也没有一套单一的正确答案适用于人类文明。我认为最终必须发生的是，我们作为一个社会，需要就这些系统可以做什么同意非常广泛的界限（very broad bounds）。

2.3 用户控制与系统消息

SA：在这些界限内，不同的国家可能进行不同的 RLHF 调整。当然，个体用户有非常不同的偏好。我们在 GPT-4 中推出了一个叫做系统消息（system message）的功能，它不是 RLHF，但它是一种让用户对他们想要的东西拥有很大操纵性（steerability）的方式。

LF：您可以描述一下系统消息吗？

SA：系统消息是一种说明方式，比如：“嘿，模型，请假装您是莎士比亚在做 X 事情，然后只回答这条消息。” 或者：“请只回应 Jason，无论发生什么”，这是我们博客文章中的一个例子。我们对 GPT-4 进行了调整，使其非常重视系统消息的权威性。虽然在很长一段时间内会有更多的越狱（jail breaks），我们也会不断学习。

2.4 编程和对话式迭代

SA：我认为这是我们短期内会看到最大影响的领域之一。今天才周一，我们上周二发布的，才六天。它已经改变编程的程度令人惊叹。

LF：在迭代过程中，您可以要求它生成代码，如果不喜欢，可以要求它调整。这是一种奇怪的不同类型的调试（debugging）。

SA：当然。现在您可以进行这种来回对话（back and forth dialogue），您可以说：“不，不，我的意思是你应该修复这个错误，或者做这个”。当然，下一个版本是系统可以更多地自行调试（debug more on its own）。但这种对话式界面和与计算机作为创意伙伴工具（creative partner tool）进行迭代的想法，我认为意义重大。

2.5 偏见的来源：模型本身与人类反馈

SA：没有两个人会同意一个模型在每个主题上都是公正的。

SA：我最担心的一种偏见是人类反馈评估者（human feedback raters）的偏见。

LF：那么，对人类评估者的选择有什么可以高谈阔论的吗？

SA：这是我们理解最少的部分。我们擅长预训练的机制。我们现在正努力弄清楚如何选择这些人。如何核实我们获得了代表性样本（representative sample）。如何为不同地区选择不同的人。但我们尚未建立起这些功能。

SA：我认为我们会发现，我们可以让 GPT 系统比任何人类的偏见都少得多。因为不会有那么多的情感负荷（emotional load）。

2.6 透明度与外部压力

LF：您不希望因为点击诱饵式新闻（clickbait journalism）而失去透明度。

SA：不。我们仍在坚持做我们的事情。我们很乐意承认我们错了。我们尝试倾听每一条批评，消化我们同意的部分。但对于那些让人喘不过气的点击诱饵头条，我们会努力让它们流过我们。

SA：我有理由相信，我可能是 OpenAI 不那么理想的 CEO，但积极的一点是，我认为我在不被纯粹的压力所影响方面相对擅长。

SA：我既担心外部压力，也渴望它。我们需要社会有巨大的输入（huge degree of input）。

LF：您是否担心外部资源，例如社会、政客或资金来源的压力？

SA：我两者都担心，也都渴望。我认为我有一个缺点，就是我有点脱离（disconnected from）了大多数人的生活现实。我正在努力不只是同情，而是内化 AGI 将对人们产生的影响。

第三部分：技术突破、AGI 定义与结构

3.1 GPT-4 的技术飞跃

LF：从 3.5 到 4 的飞跃中，是否存在一些技术飞跃，还是真的专注于对齐？

SA：不，基础模型中有很多技术飞跃。OpenAI 擅长找到许多小的胜利（small wins）并将它们相乘。每一项都可能在某种程度上是一个很大的秘密。但正是所有这些的乘法效应（multiplicative impact）以及我们投入的细节和关怀，才给我们带来了这些巨大的飞跃。

SA：从外部看来，好像他们只是做了一件事就从 3 到 3.5 到 4。实际上是数百件复杂的事务。包括我们如何收集、清理数据，如何进行训练、优化器和架构等。

3.2 规模、复杂性与参数数量

LF：规模重要吗？

SA：我认为人们对参数数量（parameter count）竞赛的关注，就像他们在 90 年代和 2000 年代对处理器千兆赫（gigahertz）竞赛的关注一样。您关心的是这个东西能为您做什么。

SA：这款模型是人类迄今为止制造的最复杂的软件对象（most complex software object humanity has yet produced）。当然，它在几十年后会变得微不足道。但相对于我们迄今为止所做的一切，投入到这组数字中的复杂程度是相当惊人的。

SA：它是人类产生的所有文本输出（text output）的压缩。

3.3 AGI 的定义与推理

LF：您认为 LLMs（大型语言模型）真的是我们构建 AGI 的方式吗？

SA：我认为它是其中的一部分（part of the way）。我认为我们需要其他超级重要的东西。

SA：对我来说，一个不能显著增加我们可用的科学知识总量的系统，不能发现或发明新的基础科学的系统，就不是超级智能（super intelligence）。要做到这一点，我认为我们需要以非常重要的方式扩展 GPT 范式，而我们目前还缺少这方面的想法。

SA：我个人最兴奋的是目前的用于科学的 AI（AI for science）。

LF：既然 ChatGPT 已经可以回答任何问题，为什么它不是 AGI？

SA：首先，它不能回答任何问题。它在很多方面仍然差得令人尴尬（embarrassingly bad）。即使修复了这些问题，它也不能持续学习和改进（continuously learn and improve）。而且它也不能仅仅完成您可以在电脑前做的任何知识工作（any knowledge work you could do in front of a computer）。

LF：您认为我们什么时候能实现 AGI？

SA：如果让 10 位 OpenAI 研究人员在一个房间里定义 AGI，您会得到 14 个定义。

SA：重要的是我们要认识到，模型将在这条漫长的指数曲线上变得更聪明、更有能力。

LF：GPT-4 是 AGI 吗？

SA：我认为 GPT-4，尽管令人印象深刻，但绝对不是 AGI。如果我在读一本科幻小说，其中一个角色是 AGI，而那个角色是 GPT-4，我会觉得这是一本烂书（shitty book）。

3.4 意识与拟人化

LF：您认为 GPT-4 有意识（conscious）吗？

SA：我认为没有。

LF：您认为它知道如何假装有意识（fake consciousness）吗？

SA：它肯定可以像有意识一样回答。

SA：我一直对我们的任何系统都只使用“它”（it）这个代词。大多数其他人使用他或她。我一直在努力向人们解释，这是一个工具，而不是一个生物（tool and not a creature）。我认为将生物性（creatureness）投射到一个工具上是危险的。

SA：伊利亚（Ilya Sutskever）曾说，如果您训练一个数据集，其中极其小心地没有提到意识或任何相关概念，然后您向模型描述意识的主观体验（subjective experience of consciousness），如果它能立即回答“是的，我完全知道你在说什么”，那将让我有所改观。

3.5 OpenAI 的独特结构与使命

LF：OpenAI 停止盈利或在 2019 年分拆。您可以描述一下这个过程吗？

SA：我们最初是非营利组织（nonprofit）。我们很早就知道我们需要远多于作为非营利组织能够筹集到的资本（capital）。我们的非营利组织仍然完全掌权（fully in charge）。

SA：我们对那些没有封顶的公司（uncapped companies）玩 AGI 感到担忧。

SA：我们的目标是制造 AGI 并分发它，确保它的安全，以人类的广泛利益（broad benefit of humanity）为目标。

SA：我认为任何版本的一个人控制这一切都非常糟糕。我们正在努力确保对这项技术的决策，特别是谁在运行这项技术的决策，随着时间的推移变得越来越民主。

第四部分：风险、未来社会与个人责任

4.1 最大的担忧：虚假信息与经济冲击

SA：我现在最担心的担忧是，将出现虚假信息（disinformation）问题或经济冲击（economic shocks）或其他问题，其程度远远超出我们所做的任何准备。这甚至不需要超级智能，不需要超深度的对齐问题，也不需要机器醒来并试图欺骗我们。

SA：很快就会有很多能力强劲的开源 LLM，它们几乎没有或根本没有安全控制。

4.2 权力与问责制

LF：考虑到您正在帮助创造可能重塑我们整个物种命运的技术，谁授予了您（或任何人）这样做的道德权威（moral authority）？如果您错了，您个人将如何问责（accountable）？

SA：我认为像其他人一样，我是一个微妙的角色（nuanced character），不能很好地简化为一个维度。

SA：我认为您希望关于这项技术的决策，以及谁在运行这项技术的决策，随着时间的推移变得越来越民主。将系统以这种方式部署出去，是为了让世界有时间适应、反思和思考。

SA：我确实认为我们应该更多地开源（open sourcing）是公平的。但我们也采取了预防措施，因为我们不确定这些系统会产生的影响。

4.3 经济与政治转型：资源与 UBI

SA：我的工作模型是，在接下来的几十年里，智能（intelligence）的成本和能源（energy）的成本将大幅下降。其影响是社会将变得更富裕，这很难想象。

SA：我认为每一次这种情况发生时，这种经济影响都带来了积极的政治影响。

LF：您认为未来会有更多类似于民主社会主义（democratic socialism）的制度吗？

SA：立刻回答“是”，我希望如此。我非常相信“抬高地板，不要担心天花板”（lift up the floor and don't worry about the ceiling）。

SA：我认为 UBI（Universal Basic Income，全民基本收入）是我们应该追求的一个组成部分，但它不是一个完整的解决方案。作为度过剧烈转变时期的缓冲，以及消除贫困的手段，这是一个很好的做法。

4.4 人类与工作的未来

SA：我认为这些系统将使许多工作消失。每一次技术革命都会这样。它们将增强许多工作，使其变得更好、更有趣、薪水更高。它们还将创造出我们难以想象的新工作。

SA：我希望我们将工作转变为一种创造性表达（creative expression），一种寻找成就感和幸福感的方式，而不是为了生存必须做的事情。

LF：您是否担心 AI 会取代工作？

SA：是的，我担心。我认为客户服务（customer service）是一个相对较快可能受到大规模影响的类别。

4.5 对齐与安全的持续努力

SA：我认为我们正在一起经历这一切。我认为我们正在做出良好的进展。我认为步伐很快，但进步也很快。

SA：我认为我们将不得不面对并从这个令人难以置信的系统中获得巨大的好处。我们必须建立一个社会，来获取它的巨大好处，并弄清楚如何确保它的安全。

SA：我仍然认为 AGI 的灾难性风险有一定几率（some chance）发生。我认为我们必须发现新的技术来解决这个问题。我解决这类问题的唯一方法是迭代（iterating）。

4.6 总结：图灵的预言

SA：我们是一个参与者、一个声音（one player, one voice），努力做到我们能做的最好，并以负责任（responsible）的方式将这项技术引入世界。

LF：最后，您认为您的儿子将在一个什么样的世界中长大？

SA：我的孩子们和所有人的孩子们回顾我们时，会带着某种怜悯和怀旧（pity and nostalgia），然后说：“他们过着多么可怕的生活。他们是如此受限（limited）。那个世界糟透了。”我认为那很棒。

LF：最后，让我引用 艾伦·图灵（Alan Turing）在 1951 年的一段话：“一旦机器思维方法启动，它似乎不太可能需要很长时间就能超越我们微弱的能力。因此，在某个阶段，我们应该不得不预期机器将掌控一切。”