OpenAI 的 Sam Altman 谈论 ChatGPT、AI 代理和超级智能 — TED2025 现场

Chris Anderson（CA）：Sam，欢迎来到 TED。非常感谢您的到来。

Sam Altman（SA）：谢谢。我很荣幸。

CA：感觉您的公司几乎每隔一周就会发布一些疯狂得不可思议（crazy insane）的新模型。我一直在试用其中几个。我想向您展示我一直在玩的东西。所以，Sora，这是一个图像和视频生成器。我问 Sora 这个问题：当您在 TED 上分享一些令人震惊的爆料时，它会是什么样子？您想看看它是怎么想象的吗？

（笑声）

我的意思是，还不错，对吧？

第一部分：模型的智能与创造性产出的经济模式

1.1 Sora 的生成能力与智能连接

CA：您会给它打几分？每只手有五根手指。

SA：和我穿的非常接近。挺好的。

CA：我从未见过您如此生动（animated）。

SA：不，我不是一个那么生动的人。

CA：所以也许 B+ 吧。但这个确实让我感到震惊。当我要求它生成一张图表，展示智能（intelligence）和意识（consciousness）之间的区别时。比如，您会怎么做？这就是它所做的。我的意思是，这太简单了，但令人难以置信。是什么样的过程能允许——这显然不仅仅是图像生成。

CA：它正在连接到您的整体模型所拥有的核心智能（core intelligences）。

SA：是的，新的图像生成模型是 GPT-4o 的一部分，所以它里面包含了所有的智能。我认为这是它能够做到人们真正喜欢的事情的原因之一。

CA：我的意思是，如果我是一名管理顾问（management consultant），正在玩弄这些东西，我会想：“噢，糟糕，我的未来会是什么样子？”

SA：我的意思是，我认为有两种看法。你可以说：“哦，天哪，它正在做我所做的一切。”

SA：我会怎么样？或者你可以说，就像历史上每一次技术革命一样：“好的，现在有了这个新工具。我可以做得更多了。我将能够做些什么？”确实，我们对从事特定工作的人的期望提高了，但能力也会大幅提升，我认为应对这种情况会很容易。

CA：所以这个也让我印象深刻。我让它想象 查理·布朗（Charlie Brown） 认为自己是一个 AI。它创作出了这个。

CA：我觉得这实际上相当深刻（rather profound）。您怎么看？（笑）我的意思是，一些新模型的写作质量，不仅是这里，而且在细节上，真的达到了一个新的水平。

SA：我的意思是，这是一个令人难以置信的元答案（incredible meta answer），但真的没办法知道它是在思考（thinking）还是只是在训练集（training set）中看到了很多次。当然，如果您分辨不出来，您又会多在乎呢？

CA：所以这真的很有趣。我们不知道。不过，这难道不像是……乍一看，这看起来像是知识产权盗窃（IP theft）吗？

1.2 创造性产出的经济模式与版权争议

CA：比如，你们没有和《花生漫画》（“Peanuts”）的遗产管理机构达成协议？

（掌声）

SA：您可以尽情鼓掌，尽情享受。

（笑声和窃窃私语）

SA：我想说，我认为人类的创造精神（creative spirit of humanity）是非常重要的事情，我们希望构建能够提升这种精神的工具，使新的人能够创作出更好的艺术、更好的内容、写出我们都喜欢看的更好的小说。我深信人类将是这一切的中心。我也相信，我们可能确实需要围绕创造性产出（creative output）的经济学，找到某种新模式。

SA：我认为人们长期以来一直在基于他人的创造力进行构建（building on the creativity of others）。人们长期以来一直在汲取灵感。但随着创造力的获取变得极其民主化（incredibly democratized），人们总是基于彼此的想法进行创造，我认为我们和其他公司都很兴奋能够探索令人难以置信的新商业模式（new business models）。它具体会是什么样子，我不确定。显然，有一些明确的规定，比如您不能复制别人的作品。但是您可以汲取多少灵感呢？

SA：如果您说，我想以这七个人的风格来生成艺术，而所有这些人都已同意，您如何划分分配给每个人的资金？这些都是重大问题。但历史上每一次我们将更好、更强大的技术交到创作者手中时，我认为我们作为一个整体，获得了更好的创造性产出，人们确实做出了更令人惊叹的事情。

CA：一个更大的问题是，当他们没有同意（haven't consented）时。在我们的开幕会议上，Carole Cadwalladr 展示了，您可以输入：

CA：“ChatGPT，以 Carole Cadwalladr 的风格做一个演讲”（"ChatGPT give a talk in the style of Carole Cadwalladr"），果然，它做了一个演讲，虽然不如她做的那个演讲好，但已经相当令人印象深刻了。她说：“好的，这很棒，但我没有同意这样做”。我们将如何解决这个问题？难道不应该只针对那些同意的人吗？或者难道不应该有一个模型，以某种方式规定，任何在提示词（prompt）中被点名的个体，如果他们的作品被使用了，他们就应该因此得到一些报酬吗？

SA：所以现在，如果您使用我们的图像生成功能，并说：

SA：我想得到一个以在世艺术家（living artist）的风格创作的东西，它不会那样做。但是如果您说，我想要它以这种特定的氛围（kind of vibe）、这个工作室（studio）或这个艺术运动（art movement）或其他任何东西的风格，它就会做。显然，如果您说，输出一首像某首歌的复制品一样的歌曲，它不会这样做。关于界限应该在哪里，以及人们如何判断“这太过分了”的问题，我们以前通过版权法（copyright law）和合理使用（fair use）的样子来解决了。再次，我认为在 AI 的世界里，我们将制定一个新的模式。

CA：从这个角度来看，我的意思是，创意人士是目前对 AI 最愤怒或最害怕的人群之一。感觉自己的作品被盗窃和感觉自己的未来被盗窃，与感觉自己的作品正在被放大（amplified）和可以被放大，这些感受是如此不同。如果我们能够转向第二种感受，我认为这将真正改变人类作为一个整体拥抱这一切的程度。

SA：嗯，我再说一遍，一些创意人士非常沮丧。一些创意人士则认为：“这是有史以来最棒的工具，我正在做令人难以置信的新工作。”但是，你知道，这绝对是一种变化（change）。我对那些仅仅希望“我希望这种变化没有发生，我喜欢以前的样子”的人，抱有很大的同理心（empathy）。

CA：但是原则上，您可以从任何给定的提示词（prompt）中计算出……应该有某种方法能够计算出订阅收入或其他任何收入的百分比……

CA：流向每个答案。原则上，如果能够弄清楚其余的规则，这应该是可能的。这显然很复杂。您可以计算出某种收入分成（revenue share），不是吗？

SA：如果您是一名音乐家，您花费了您的整个生命、您的整个童年都在听音乐，然后您有了一个想法，您去创作了一首歌曲，这首歌受到您以前听过的东西的启发，但又是一个新的方向，您会很难说：“这首歌的多少部分来自我11岁时听到的那首歌。”

CA：没错。

CA：但是我们在这里讨论的情况是，有人在提示词中明确地提到了某人的名字。

SA：嗯，再说一次，现在，如果您尝试生成一个以某个名字命名的风格的图像，我们会说那位艺术家是在世的，我们不会这样做。但我认为，如果能制定出一个新模式会很酷，即如果您说，我想以这位艺术家的名义去做，并且他们选择加入（opt in），那么就会有一个收入模式。我认为这是一个很好的探索方向。

CA：所以，我认为全世界都应该帮助您迅速解决这个模式。

CA：我认为这实际上会带来巨大的改变。我想快速切换话题。

（掌声）

第二部分：OpenAI 的增长、开放模型与安全挑战

2.1 开放模型与竞争

CA：您的模型与开源（open source）之间的较量。DeepSeek 的到来让您感到有多震撼？

SA：我认为开源占有重要的地位。事实上，就在昨晚，我们举办了我们的第一次社区会议（community session），来决定我们的开源模型的参数（parameters）以及我们希望如何塑造它。我们将推出一个非常强大的开源模型（very powerful open-source model）。我认为这很重要。我认为我们将推出一些接近前沿（frontier）的东西，比目前任何现有的开源模型都要好。这不会是全部——会有人以在座的一些人，也许是您或我，不喜欢的方式使用它。但是，作为这个星座（constellation）的一部分，开源模型将占据重要的位置。而且，你知道，我认为我们对此采取行动迟了，但我们现在会做得很好。

CA：我的意思是，您似乎花费了比 DeepSeek 据称花费的一个数量级，甚至多个数量级更多的资金，尽管我知道围绕此存在争议。

CA：您是否确信真正更好的模型会被认可？或者您是否会觉得，这在某些方面对以下观念是致命的（life-threatening）：即通过大规模扩展（massive scale）、数百亿美元的投资，我们可以保持令人难以置信的领先地位。

SA：我整天都在打电话，求人们把他们的 GPU 给我。我们的资源受到了令人难以置信的限制（incredibly constrained）。我们的增长是这样的（手势向上）。DeepSeek 推出了，似乎没有影响到它。还有其他事情正在发生。

CA：实际上，跟我们谈谈增长吧。您在后台告诉了我一个惊人的数字。

2.2 ChatGPT 的惊人增长与产品战略

SA：我从未见过任何一家公司，无论是我参与的还是没有参与的，像 ChatGPT 这样的增长。这真的很有趣。我感到非常荣幸。但经历这一切是很疯狂的，我们的团队筋疲力尽、压力巨大。我们正在努力维持一切。

CA：您现在有多少用户？

SA：我想我们上次说的是5亿每周活跃用户（500 million weekly actives），而且它正在非常迅速地增长。

CA：我的意思是，您告诉我在短短几周内，这个数字就翻了一番。比如在计算能力方面还是……

SA：我是私下说的，但我想……

CA：哦。

（笑声）

CA：我记错了，Sam，对不起。如果您真的想，我们可以把它剪掉。而且在座没有人会发推文的。

SA：它增长得非常快。

（笑声）

CA：所以您很有信心，您看到它像火箭飞船一样起飞，您不断发布令人难以置信的新模型。您在您最好的内部模型（internal models）中看到了什么尚未与世界分享，但您很想在这个舞台上分享？

SA：所以首先，您问到我们是否担心这个模型或那个模型。世界上将会有很多智能模型。非常聪明的模型将在一定程度上被商品化（commoditized）。我认为我们将拥有最好的，对于某些用途，您会需要它。但老实说，这些模型现在已经非常聪明，对于大多数人想做的大多数事情来说，它们已经足够好（good enough）了。我希望随着时间的推移这种情况会改变，因为人们会提高他们的期望。但如果您是作为一名标准用户使用 ChatGPT，

SA：模型能力已经非常聪明了。但我们必须构建一个伟大的产品（great product），而不仅仅是一个伟大的模型。因此，将会有很多人拥有伟大的模型，我们将努力构建最好的产品。人们想要他们的图像生成，您早些时候看到了一些 Sora 的视频示例。他们希望将其与他们所有的东西集成（integrate）。我们刚刚推出了一个新功能，它仍然叫做 Memory（记忆），但它比以前的 Memory 好得多，这个模型将在您的一生中逐渐了解您。我们还有很多东西要来，以构建。

SA：像这个伟大的一体化产品（great integrated product）。而且，你知道，我认为人们会坚持使用它。所以会有很多模型，但我认为我们将，我希望，继续专注于构建这个领域中最好、最明确的产品（best defining product）。

CA：我的意思是，在我看到您昨天的公告，说 ChatGPT 将了解您所有的查询历史之后，我输入了：“ChatGPT，根据你所知道的一切，告诉我关于我的信息”。Sam，我的下巴都掉了，太震惊了。它知道我是谁，以及所有这些兴趣，希望大部分都是相当合适和可分享的。

CA：但这令人震惊。我感到一种真实的兴奋感，有点恶心（queasy），但主要是兴奋，因为它能因此为我提供多少帮助。

SA：我们的一位研究人员昨天或今天早上发推文说，上传是一点一点地（bit by bit）发生的。不是说您有一天插上您的大脑（brain）。但您将在您的一生中与 ChatGPT 交谈，有一天，也许如果您愿意，它会全天听着您的声音，并观察您正在做什么。

SA：它会了解您，它会成为您的延伸（extension），这个伴侣（companion），这个只是努力帮助您做到最好、尽您所能去做的东西。

CA：在电影《她》（Her）中，AI 基本上宣布她已经阅读了他所有的电子邮件，并决定他是一位伟大的作家，然后说服一家出版商出版了他。这可能比我们想象的来得更快。

SA：我不认为它会完全像那样发生，但……是的，我认为 AI 会朝着这个方向发展——您不必仅仅是去到 ChatGPT 或其他任何地方……

SA：然后说：“我有一个问题，给我一个答案。”而是您会主动（proactively）被推送一些对您有帮助的东西，让您变得更好或其他什么。这看起来确实很快就会到来。

2.3 科学发现与智能代理（Agentic AI）

CA：那么您在内部看到了什么即将到来的、您认为会震惊人们（blow people’s minds）的东西？至少给我们一点提示，下一个令人下巴掉下来（jaw dropper）的东西是什么？

SA：我个人最兴奋的是目前的用于科学的 AI（AI for science）。我坚信世界上最重要、使人们生活越来越好的驱动力是新的科学发现（new scientific discovery）。

SA：我们可以用更少的资源做更多的事情，我们算是将可能的边界推了回去（push back the frontier of what's possible）。我们开始从科学家那里听到很多关于我们的最新模型的消息，他们现在的工作效率确实比以前更高了。这实际上对他们能发现的东西产生了影响。

CA：近期内合理可信的发现会是什么？比如，室温（room temperature）……

SA：超导体（Superconductors）？

CA：超导，是的。这有可能吗？

SA：我不认为这受到物理定律（laws of physics）的阻碍。所以它应该是可能的。但我们不确定。

SA：我认为您会开始看到一些……在 AI 辅助工具（AI-assisted tools）下，对抗疾病方面取得有意义的进展（meaningful progress）。你知道，物理学可能需要更长一点时间，但我对此抱有希望。所以这是一个方向。另一个我认为很大的方向，而且很快就会开始，比如在接下来的几个月。软件开发已经得到了很大的转变。现在创建软件的过程与两年前相比是多么不同，这非常惊人。但我预计在接下来的几个月里，当智能软件工程（agentic software engineering）真正开始发生时，还会有另一次同样大的转变。

CA：我听工程师说，他们在使用一些新模型时，几乎有了宗教般的体验（religious-like moments），他们突然可以在一个下午完成以前需要两年才能完成的工作。

SA：是的，这令人难以置信——真的，这对我来说是感受 AGI 的重要时刻之一。

2.4 最大的恐惧与对齐挑战

CA：但谈谈您见过的最可怕的事情。因为……在外面，很多人想象您是……您能够接触到这些东西。我们听到所有这些关于 AI 的谣言，比如：“哦，我的天哪，他们看到了意识”，或者“他们看到了 AGI”，或者“他们看到了某种世界末日（apocalypse）即将到来”。您有没有在内部看到过可怕的时刻，让您觉得：“噢，糟糕，我们需要注意这一点？”

SA：有过像敬畏（awe）的时刻。我认为随之而来的总是：这会走多远？这会变成什么？但我们并没有秘密地拥有……我们并没有秘密地坐拥一个有意识的模型（conscious model）或某种能够自我改进（self-improvement）的模型或类似的东西。你知道，我……

SA：人们对于 AI 将带来的重大风险有非常不同的看法。我自己对我们将会在哪里看到这些风险的想法也有所演变（evolved）。我仍然相信，将会出现非常强大的模型（very powerful models），人们可以以重大的方式滥用（misuse）它们。人们谈论很多关于新型生物恐怖（bioterror）的潜力、可能带来真正的网络安全挑战（cybersecurity challenge）的模型，以及能够以某种方式导致失控（loss of control）的自我改进模型。所以我认为那里存在巨大的风险。

SA：然后还有很多其他的事情，老实说，我认为这才是很多人所指的，比如人们谈论虚假信息（disinformation），或者模型说了他们不喜欢的话之类的事情。

CA：就第一个风险而言，您是否在发布前在内部检查了这一点？

SA：当然，是的。所以我们有一个准备框架（preparedness framework）概述了我们如何做到这一点。

CA：我的意思是，您的安全团队（safety team）有一些人离职了。有多少人离开了，他们为什么要离开？

SA：我们……我不知道确切的数字。

SA：但对于 AI 安全系统显然存在不同的看法（different views）。我真的会指出我们的过往记录（track record）。有些人会说各种各样的话。你知道，现在世界上大约有 10% 的人经常使用我们的系统。我们对我们的安全过往记录感到非常自豪。

CA：但从某种意义上说，过往记录不是问题——

SA：不，在某种程度上它是。

CA：因为我们谈论的是一个指数级增长的力量（exponentially growing power），我们担心有一天醒来世界就会终结。所以这真的不是关于过往记录，而是关于合理地说所有措施都已到位（the pieces are in place），以便在我们看到危险时可以快速关闭（shut things down quickly）。

SA：是的，不，这当然很重要。您不会有一天醒来然后说：“嘿，我们没有采取任何安全措施。现在我们认为模型真的很聪明。所以现在我们必须关心安全了。”您必须沿着这条指数曲线（exponential curve）一直关心它。当然，风险会增加，挑战也很大。但我们学习如何构建安全系统的方式是迭代过程（iterative process）。

SA：将它们部署到世界，在风险相对较低时获得反馈，了解“这是我们必须解决的问题”。我认为随着我们进入这些智能代理系统（agentic systems），我们必须学习解决一大类新问题。

2.5 AGI 与智能代理（Agentic AI）的区别

CA：那么，让我们谈谈智能代理系统与 AGI（通用人工智能）之间的关系。我认为外面存在混淆，我也很困惑。所以，通用人工智能（artificial general intelligence），感觉 ChatGPT 已经是通用智能了。我可以问它任何问题。

CA：它会给出智能的回答。为什么它不是 AGI？

SA：它没有……首先，您不能问它任何问题。您这么说真是太好了，但它在很多方面仍然糟得令人尴尬（embarrassingly bad）。但即使我们修复了这些问题，我们希望会的，它也不会持续学习和改进（continuously learn and improve）。它不能在它目前薄弱的方面变得更好。它不能去发现新的科学并更新它的理解。而且它也不能，即使我们降低标准，它也不能仅仅完成您可以在电脑前做的任何知识工作（any knowledge work you could do in front of a computer）。事实上，即使没有“能够在其尚不知道的方面变得更好”的能力，我也许会接受那是 AGI 的定义。但目前的系统，您不能说：“嘿，去为我的工作完成这个任务”，然后它就去网上点击、给某人打电话、查看您的文件并完成它。如果没有这一点，它感觉肯定还差得远。

CA：我的意思是，你们内部是否有关于 AGI 是什么的清晰定义？您认为我们何时才能达到那里？

SA：这就像一个笑话，如果您让 10 位 OpenAI 研究人员在一个房间里，让他们定义 AGI，您会得到 14 个定义。

CA：但这令人担忧，不是吗？因为这最初是使命：“我们将成为第一个达到 AGI 的人。我们将安全地做到这一点。但我们没有一个清晰的定义。”

SA：我本来要完成这个回答。

CA：抱歉。

SA：我认为重要的是，人们想知道的不是这个，你知道，“我们完成了”的魔力时刻在哪里。但考虑到看起来即将发生的情况是，模型将在这条漫长的指数曲线上变得更聪明、更有能力，更聪明、更有能力，不同的人会在不同的时间点称之为 AGI。但我们都同意它将远远超越那个点。你知道，无论您想怎么称呼这些变得比我们更有能力的系统。重要的是我们如何谈论一个在所有这些步骤及以后都安全的系统，当系统变得比我们更有能力时。

SA：当系统可以做一些我们不完全理解（don't totally understand）的事情时。我认为比 AGI 何时到来以及它的定义是什么更重要的是，认识到我们正处于这条令人难以置信的指数曲线上。您可以说：“我认为 AGI 是这个。”您可以说：“您认为 AGI 是那个。”其他人可以说超级智能（superintelligence）在更远的地方，但我们将不得不面对并从这个令人难以置信的系统中获得巨大的好处。所以我认为我们应该将对话转移……

SA：从AGI 时刻是什么，转移到认识到：这件事情不会停止，它将远远超出我们任何人会称之为 AGI 的范畴。我们必须建立一个社会，来获取它的巨大好处，并弄清楚如何确保它的安全。

2.6 智能代理（Agentic AI）的风险与信任

CA：嗯，本周的对话之一是，真正的变化时刻是——我的意思是，AGI 是一个模糊的概念，但清晰的是智能代理 AI（agentic AI）——当 AI 被释放，自主地追求项目，并将各个部分整合在一起时——你们实际上……你们有一个叫做 Operator 的东西，它开始做这件事。我试了一下。你知道，我想预订一家餐厅，这有点不可思议。它有点可以继续并做到，但它是这么说的。你知道，这是一个耐人寻味的过程。而且，你知道，“给我你的信用卡”以及其他一切，我在这种情况下拒绝继续。但我认为这是人们将面临的挑战。它有点像：它是一种令人难以置信的超能力（superpower）。它有点可怕。Yoshua Bengio 在这里发言时，

CA：他说智能代理 AI 是需要关注的东西。当我们赋予 AI 权力，让它进入互联网做事时，一切都可能出错。我的意思是，进入互联网总是在科幻小说中，是逃脱发生和潜在……事情可能大错特错（horribly wrong）的时刻。您如何既发布智能代理 AI，又设置护栏（guardrails），让它不会走得太远？

SA：首先，显然您可以选择不这样做，然后说：“我不想要这个。我要给餐厅打电话。”

SA：并通过电话告诉他们我的信用卡。

CA：我可以选择，但其他人可能会说：“哦，ChatGPT，你去到整个互联网，重写互联网，让它对人类更好”或其他什么。

SA：我本来想说的重点是，就像任何新技术一样，人们需要一段时间才能感到舒适（comfortable）。我记得我以前不会把我的信用卡放在互联网上，因为我的父母说服我，会有人读取我的号码，您必须填写表格，然后打电话给他们。然后我们都说：“好吧，我们将建立反欺诈系统（anti-fraud systems），我们可以对此感到舒适了。”我认为人们将需要很长时间才能在许多方面对智能代理 AI 感到舒适。但我也非常同意您所说的，即使有些人感到舒适而有些人不，我们将会有 AI 系统在互联网上点击。我认为这是我们迄今为止面临的最有趣、最重要（most interesting and consequential）的安全挑战。因为您授予了 AI 访问您的系统、您的信息、

SA：您的电脑上点击的能力，现在，那些……当 AI 犯错时，风险会高得多（much higher stakes）。它是门槛（gate）——所以我们之前谈到了安全和能力。我有点认为它们正日益成为一维的（one-dimensional）。一个好的产品就是一个安全的产品。如果您不信任我们的代理不会清空您的银行账户 或删除您的数据 或其他什么，您就不会使用它们。因此，人们想要使用他们可以真正信任、真正安全的代理。

SA：我认为我们的进展受到我们实现这种能力（make progress on our ability to do that）的限制。但它是产品的基本组成部分。

CA：在一个代理（agency）存在的世界里，假设，也许是开源模型被广泛分发，有人说：“好的，AGI，我希望你进入互联网，并以你能做到的任何方式传播一个模因（meme），说 X 民族是邪恶的”，或其他什么。这不一定是个人的选择。一个人可以放出那个代理，然后代理可能会决定：

CA：“嗯，为了执行那个功能，我必须在任何地方复制自己”，然后……你们内部是否有清晰划定的红线（red lines），您知道危险时刻在哪里，以及我们不能发布可能超越这个范围的东西？

SA：是的，这就是我们准备框架（preparedness framework）的目的。我们会随着时间的推移更新它。但我们试图概述我们认为最危险的时刻在哪里，或者类别是什么，我们如何衡量，以及我们如何在发布前减轻（mitigate）某些东西。

第三部分：改变世界的权力和责任

3.1 对 AI 快速发展的理性担忧

CA：从谈话中我能看出您不是 AI 的忠实粉丝。

SA：恰恰相反，我每天都使用它。我对它充满敬畏。我认为这是一个令人难以置信的时代（incredible time to be alive）。我不会在任何其他时间活着，我迫不及待地想看看它会走向何方。我们一直在坚持……我认为坚持是至关重要的……我们不能将人们分成那些阵营。您必须对可能性抱有强烈的信念（passionate belief），但不要被它过度诱惑（overseduced），因为事情可能会大错特错。

（掌声）

SA：我想说的是，我完全理解这一点。我完全理解看到这个，并说这将给世界带来令人难以置信的改变（unbelievable change）。而且，你知道，也许我不想要这个，或者也许我喜欢它的某些部分。也许我喜欢和 ChatGPT 聊天，但我担心艺术会发生什么，我担心变化的速度（pace of change），我担心这些代理在互联网上点击。而且，也许，总的来说，我希望这一切没有发生。或者也许我希望它发生得慢一点。或者也许我希望它以一种我可以挑选和选择哪些进步会发生的方式发生。

SA：我认为，恐惧是完全理性的（the fear is totally rational）。这种焦虑是完全理性的（the anxiety is totally rational）。我们也都有很多。但是……A，将会有巨大的好处。显然，你知道，您每天都使用它，您喜欢它。B……我真的相信社会会随着时间的推移，尽管会犯一些重大错误，弄清楚如何正确对待技术（get technology right）。而且 C，这将会发生（this is going to happen）。这就像一个基础物理学的发现（discovery of fundamental physics），全世界现在都知道了。它将成为我们世界的一部分。我认为这场对话非常重要。

SA：我认为讨论这些危险领域非常重要（really important）。新的经济模式非常重要。但我们必须以谨慎但没有恐惧（caution but not fear）的态度来接受这一点，否则我们会被其他利用 AI 做得更好的人超越。

3.2 监管与外部安全测试

CA：您实际上一直是安全最雄辩的倡导者之一。您在参议院作证。我想您基本上是说，我们应该成立一个新的安全机构（safety agency），对任何努力进行许可（licenses），即它会拒绝许可某些努力。您现在仍然相信那个政策提议吗？

SA：我对政府的运作方式了解得更多了。我不认为这是完全正确的政策提议（quite the right policy proposal）。

CA：那正确的政策提议是什么？

SA：但是，我确实认为这个想法是正确的：随着这些系统变得更加先进，并具有合法（legitimate）的全球影响，我们需要某种方式，你知道，也许是公司自己制定正确的框架 或正确的模式，但我们需要某种方式，让非常先进的模型接受外部安全测试（external safety testing）。并且我们理解何时接近这些危险区域（danger zones）。

SA：我仍然非常相信这一点。

CA：我觉得很讽刺，我们想要的可能是一个安全机构（safety agency），然而代理（agency）恰恰是不安全的东西。那里的语言有点奇怪，但无论如何。

SA：我可以再说一件事吗？我确实认为这个概念是，我们需要定义严格的模型测试（rigorous testing for models），了解我们、整个社会最想关注的威胁是什么，并确保随着模型变得更有能力，我们有一个系统，让我们都能了解正在向世界发布什么。

SA：我认为这真的非常重要。我认为我们离那些在这个意义上具有巨大公共利益（great public interest in that sense）的模型已经不远了。

3.3 道德权威与问责制

CA：所以 Sam，我问了您的 o1-pro 推理模型（o1-pro reasoning model），它令人难以置信——

SA：谢谢您的 200 美元。

CA：(笑) 每月 200 美元。这个价格很划算。我问它，我能问您的最深刻（most penetrating）的问题是什么？它思考了两分钟。两分钟。您想看看这个问题吗？

SA：想。

CA：“Sam，鉴于您正在帮助创造可能重塑我们整个物种命运的技术，谁授予了您（或任何人）这样做的道德权威（moral authority）？”

（笑声）

CA：“如果您错了，您个人将如何问责（accountable）？”

SA：不，这很好。

CA：这令人印象深刻。

SA：在过去的半小时里，您一直在问我这个问题的一些版本。您觉得呢？

（笑声和掌声）

CA：我要说的是这个。这是我对那个问题的看法。

SA：但没有答案？

CA：您对我有什么问题？

SA：您会如何回答那个问题？

CA：在您的位置上？

SA：或者作为一个局外人。

CA：我不知道。我对您感到困惑（puzzled）。我对您有点敬畏（awed）。因为您建立了最令人震惊的事物之一。关于您有两种说法。一种是，你知道，您是这位令人难以置信的远见者（visionary），完成了不可能的事情，您震惊了世界。您用比谷歌少得多的人，推出了比当时任何正在做的事情都更强大（much more powerful）的东西。我的意思是，您所建立的令人惊叹。但另一种说法是，您立场动摇（shifted ground）了，您从 OpenAI 这个开放（open）的事物，转向了构建一些超级强大（super powerful）的东西的诱惑。而且，你知道，您失去了一些关键人物。外面有这种说法。有些人认为在这个领域不应该信任您（trusted）。我很想知道您是谁。您对自己的看法是什么？Sam，您的核心价值观（core values）是什么，能给我们，给世界带来信心，让人们相信一个拥有如此大权力的人有权拥有它（entitled to it）？

3.4 Sam Altman 对自身、公司使命与“指环”的回应

SA：听着，我认为像其他人一样，我是一个微妙的角色（nuanced character），不能很好地简化为一个维度。

SA：你知道，可能有些好的事情是真的，也可能有些批评是真的。就 OpenAI 而言，我们的目标是制造 AGI 并分发它，确保它的安全，为了人类的广泛利益（broad benefit of humanity）。我认为从所有方面来看，我们在这方面做了很多。显然，我们的策略（tactics）随着时间的推移发生了变化。我认为我们在成长过程中并不真正知道我们将成为什么。我们不认为我们必须围绕它建立一家公司。我们学到了很多关于它如何发展以及这些系统需要多少资本（capital）的现实。

SA：但我认为，在将极具能力的 AI 以高度安全的方式交到很多人手中，并赋予他们工具去完成任何惊人的事情方面，我认为很难给我们一个差评。我确实认为我们应该更多地开源（open sourcing）是公平的。我认为，出于您早些时候问到的所有原因，因为我们不确定这些系统将产生的影响 以及如何确保它们的安全性，我们采取了预防措施（precaution）是合理的。

SA：我认为您早些时候的许多问题至少暗示了对我们以这种方式运作的某种同情（sympathy）。但现在我认为我们作为一个世界有了更好的理解，是时候将非常有能力的开放系统推向世界了。如果您明年再邀请我回来，您可能会因为有人滥用了这些开源系统而对我大喊大叫，并说：“您为什么要那样做？”你知道，“您本不应该回到您的开放根源。”但是，你知道，我们所做的每一件事都有权衡（trade offs）。

SA：我们是这场 AI 革命中的一个参与者、一个声音（one player, one voice），努力做到我们能做的最好，并以负责任（responsible）的方式将这项技术引入世界。我们肯定犯过错误，未来肯定会犯更多错误。总的来说，我认为在过去的近十年里，这已经是很长一段时间了，你知道，我们大致上完成了我们着手要做的事情。我们面前还有很长的路要走。我们的策略未来还会改变，但对这种使命（mission）和我们正在努力做的事情的坚持，我认为非常坚定。

（掌声）

CA：您发布了这个——好吧。所以这是《指环王》中的力量之戒（Ring of Power）。您的竞争对手，我要说，不是您目前最好的朋友，Elon Musk，声称，你知道，他认为您已经被力量之戒腐蚀（corrupted by the Ring of Power）了。顺便说一下，这个指控——

（笑声）

SA：嗨，Steve。

CA：这个指控也可以用在 Elon 身上，你知道，公平地说。但我很好奇，人们……您拥有——

SA：我可能会回应。我正在考虑。我可能会说些什么。

（笑声）

CA：这在每个人的脑海中，当我们看到科技公司的 CEO 变得更强大、更富有 时，他们能应对吗？或者它是否变得不可抗拒（irresistible）？权力和财富是否使得有时做正确的事情变得不可能，而您只是不得不紧紧抓住那个戒指？您认为呢？我的意思是，您有时会感觉到那个戒指吗？

SA：您认为我做得怎么样，相对于其他获得了很大权力、改变了他们的行为方式或在世界上做了一堆事情的 CEO 来说？您认为呢？

（掌声）

CA：您有一个美丽的……您不是一个粗鲁、愤怒的人，不会出来对其他人说出具有攻击性的话。

SA：我有时会那样做。那是我的唯一缺点（single vice），你知道？

（笑声）

CA：不，我认为就您个人行为的方式而言，这是令人印象深刻的。我的意思是，有些人问的问题是，那是真正的您 还是……还有其他事情正在发生？

SA：不，我会接受这个反馈。您放出了索伦的力量之戒或其他什么东西。所以我接受这个反馈。有什么是我做过的事情，让您认为我被权力腐蚀了？

CA：我认为这种担忧是，仅仅是 OpenAI 向营利模式（for-profit model）的转变，你知道，有些人说：“嗯，就是这样了。您被对财富的渴望腐蚀了。”你知道，有那么一刻，它本来是没有股权（no equity）的。它会使您极其富有（fabulously wealthy）。顺便说一句，我不认为这是您的个人动机。我认为您想构建一些极其酷（insanely cool）的东西。我担心的是竞争感（competitive feeling），您看到其他人在做，这使得以正确的速度（right pace）发展变得不可能。

CA：但您告诉我，如果您没有感觉到，比如……世界上很少有人拥有您拥有的那种能力和潜力，我们不知道那是什么感觉。那是什么感觉？

SA：令人震惊的是，和以前一样（the same as before）。我认为您可以一步步地习惯任何事情。我认为如果我像从十年前一下子被传送到现在，会感觉非常迷失方向（disorienting）。但任何事情都会成为某种新的常态（new normal），所以感觉没有任何不同。坐在这里谈论这个很奇怪。

SA：但是，你知道，日常生活的单调（monotony），我是以最好的方式来说的，感觉完全一样。

CA：您是同一个人。

SA：我的意思是，我确信在各个方面我都不是，但我不觉得有任何不同。

3.5 成为父亲与对未来的责任

CA：这是您发布的一件美丽的事情，您的儿子。我的意思是，您说的最后一句话：“我从未感受过这样的爱”（"I've never felt love like this"），我认为房间里的任何一位父母都非常了解那种感受，那种人类拥有的狂野的生物学感受（wild biological feeling），而 AI 永远不会有，当您抱着您的孩子时。我想知道这是否改变了您的想法……

CA：比如，假设：这里有一个红盒子，这里有一个带红按钮的黑盒子，您可以按下那个按钮，您很有可能给您的儿子带来最难以置信的生活，但同时您也注入了 10% 的机会，他会被摧毁（destroyed）。您会按下那个按钮吗？

SA：在字面上的情况下，不会。如果问题是，我是否觉得我的工作正在这样做，答案是，我也不觉得。有了孩子改变了很多事情。到目前为止，这是发生在我身上最惊人的事情。

SA：就像每个人说的一切都是真的。我的联合创始人 Ilya 曾经说过一件事，我不知道。这是一个转述，大概是：“我不知道生命的意义是什么，但肯定与婴儿（babies）有关”。而且，这难以置信地准确（unbelievably accurate）。它改变了我在某些事情上愿意花费多少时间，以及不和我的孩子在一起的代价（cost） 简直是高得惊人。而且我……但是，你知道，我以前就非常关心不要摧毁世界。我现在也非常关心。我不需要一个孩子来做那部分。

（掌声）

SA：我的意思是，我当然会更多地思考未来对他来说会是什么样子，但我感到有责任为每个人的未来做我能做的最好的事情。

3.6 发展的必然性与社会决策

CA：Tristan Harris 本周在这里做了一次非常有力的演讲，他在演讲中说，在他看来，关键问题是，您和您的同行在这些其他模型中都基本上觉得，先进 AI 的发展是不可避免的（development of advanced AI is inevitable），竞赛已经开始（the race is on），除了努力赢得那场竞赛，别无选择，并且要尽可能负责任地这样做。也许有一种情况是，您的超级智能 AI 可以充当所有其他人的刹车（brake） 或类似的东西。但每个人都相信它是不可避免的这个事实，是一条通向严重风险和不稳定的道路。您认为您和您的同行是否觉得它是不可避免的？您能看到任何可以集体同意放慢速度（collectively agree to just slow things down a bit）的途径吗？让整个社会权衡一下，然后说：“不，你知道，我们不希望它发生得这么快。它太具有颠覆性（disruptive）了。”

SA：首先，我认为人们一直在放慢速度（slow things down），因为技术尚未准备好，因为有些东西不够安全，因为有些东西行不通。我认为所有这些努力都在坚持（hold on）、暂停（pause on）、延迟（delay on）某些事情，不发布某些能力。所以我认为这正在发生。而且，再说一次，这就是我认为过往记录确实很重要的地方。如果我们急于推出东西，并且存在各种各样的问题，无论是产品没有像人们希望的那样工作……

SA：或者存在真正的安全问题或其他问题。我将回到我们做出的一个改变，我认为您可以做到这一点。大多数努力之间都有沟通，除了一个例外。我认为所有这些努力都非常关心 AI 安全。而且我认为——

CA：例外是谁？

SA：我不打算说。而且我认为真的有深切的关注（deep care）来把这件事做好。我认为把这妖魔化（caricature）为只是一场疯狂的竞赛或冲刺或什么的，忽略了其中的细微差别（nuance）：人们正试图快速推出模型，并为人们制作出色的产品。但人们对这方面的影响感受得如此强烈……你知道，我认为如果您可以坐进 OpenAI 或其他公司的会议中，您会觉得：“哦，这些人真的很关心这个。”现在我们最近确实对我们如何看待传统上被理解为安全的一部分做出了改变。这就是，对于我们的新图像模型，我们给予了用户在传统上我们认为的言论伤害（speech harms）方面更多的自由。你知道，如果您试图被模型冒犯，模型会允许您被冒犯吗？过去，我们在这一点上有更严格的护栏（tighter guardrails）。但我认为模型对齐（model alignment）的一部分是遵循模型用户希望它做什么，在社会决定的非常广泛的范围内。所以如果您要求模型描绘一堆暴力或类似的东西，或者强化某些刻板印象（stereotype），这是一个它是否应该这样做的问题。我们正在采取更加宽容的立场（more permissive stance）。这是一个开始与现实世界伤害（real-world harms）相互作用的地方，我们必须弄清楚如何划定界限，但是，你知道，我认为会有一些情况是，一家公司会说：“好的，我们听到了来自社会的反馈。人们真的不希望模型以他们认为没有意义的方式审查（censor）他们。”这是一个公平的安全谈判。

CA：但就此作为一个集体问题（collective problem）而言，解决这类问题的方法是让人们聚集在一起，在一个点上会面，并达成一个不同的协议。如果有一群人，比方说，在这里或在世界各地，愿意主办一个伦理学家（ethicists）、技术专家（technologists）的峰会（summit），但人数不多，规模小，让您和您的同行来努力确定全球可以商定的安全底线是什么，您愿意参加吗？您会敦促您的同事前来吗？

SA：当然，但我对我们数亿用户（hundreds of millions of users）作为一个整体想要什么更感兴趣。我认为历史上很多事情都是在小型精英峰会（small elite summits）中决定的。AI 的一个很酷的新事物是，我们的 AI 可以和地球上的每个人交谈，我们可以了解所有人集体（collective）的价值偏好（value preference）想要什么，而不是让一堆被社会祝福（blessed）的人坐在一个房间里做出这些决定，我认为这非常酷。

（掌声）

SA：我认为您会看到我们在这方面做得更多。当我们做错事情时，是因为房间里的精英们对于人们对图像生成护栏的期望，与人们实际想要的意见不同，而且我们无法指出现实世界的伤害，所以我们做出了那个改变。

SA：我为此感到自豪。

（掌声）

CA：数亿人的行为造成意外后果（unintended consequences）是有很长的过往记录的。

SA：让房间里的 100 个人做决定也是如此。

CA：而且那数亿人无法控制，他们不一定能看到下一步可能导致什么。

SA：我希望——那是完全准确和完全正确的——我希望 AI 能帮助我们更明智（wiser），做出更好的决定，可以和我们交谈，如果我们说：“嘿，我想要 X 事情。”

SA：你知道，AI 可以说，而不是像人群推动那样：“嘿，完全理解那是您想要的。如果这是您在谈话结束时想要的，您来做主。但您有没有从这个人的角度 或它将对这方面产生的影响来考虑？”我认为 AI 可以帮助我们更明智，并做出比以前更好的集体治理决策（better collective governance decisions）。

CA：我们时间到了。Sam，我给您最后发言的机会。总而言之，您相信您的儿子将在一个什么样的世界中长大？

3.7 儿子与对超级智能世界的展望

SA：我记得——那是很久以前的事了，我不知道第一台 iPad 是什么时候发布的。是像 15 年前吗？我记得当时看了一个 YouTube 视频，是一个蹒跚学步的孩子，坐在医生办公室的候诊室或什么地方，那里有一本杂志，就是那种旧的、你知道的、光滑封面的杂志，那个蹒跚学步的孩子把手放在上面，然后像这样（手势），有点生气。对那个蹒跚学步的孩子来说，它就像一个坏了的 iPad。他或她从来没有想过一个没有 触摸屏的世界。对于所有观看这个视频的成年人来说，这是一件令人惊奇的事情，因为它太新了，太棒了，简直是奇迹（miracle）。当然，杂志是世界运作的方式。我的孩子，希望是我的孩子们，将永远不会比 AI 更聪明。他们永远不会在一个产品和服务不够聪明、不够有能力的世界中长大。他们永远不会在一个电脑不会理解您的世界中长大。并且，你知道，对于任何您可以想象的定义，任何您可以想象的。这将是一个拥有令人难以置信的物质丰富（incredible material abundance）的世界。这将是一个变化速度极快（rate of change is incredibly fast），并且正在发生惊人新事物 的世界。这将是一个个体能力、影响或其他，远远超出一个人今天能做到的世界。我希望我的孩子们和所有人的孩子们回顾我们时，会带着某种怜悯（pity）和怀旧（nostalgia），然后说：“他们过着多么可怕的生活。他们是如此受限（limited）。那个世界糟透了。”我认为那很棒。

（掌声）

CA：您所建立的令人难以置信。它确实是，令人难以置信。我认为在接下来的几年里，您将拥有一些最大的机会、最大的道德挑战、最大的决定，也许是历史上任何人类所面临的。您应该知道，这里的每个人都会为您做正确的事情而欢呼（cheering you on to do the right thing）。

SA：我们将尽力而为，非常感谢。

CA：谢谢您来到 TED。

（掌声）

CA：谢谢。

SA：非常感谢。