OpenAI 的 Sam Altman 谈论 ChatGPT、AI 代理和超级智能 — Lex Fridman 播客 #419

引言：计算即货币与 AGI 道路上的权力斗争

我认为计算（compute）将成为未来的货币（currency）。我认为它可能会成为世界上最宝贵的商品（most precious commodity）。我预计到本十年末，可能比那更早一些，我们将拥有非常强大的系统，我们会看着它们说：“哇，这真是非凡。”。通往 AGI 的道路应该是一场巨大的权力斗争（giant power struggle）。我预计情况会是这样。

无论是谁率先构建出 AGI，都会获得巨大的权力。您信任自己拥有这么大的权力吗？

这是 Lex Fridman 播客。今天的嘉宾是 Sam Altman，这是他第二次来到播客。他是 OpenAI 的首席执行官（CEO），该公司推出了 GPT-4、ChatGPT、Sora，或许有一天它将是构建 AGI 的公司。

第一部分：OpenAI 董事会风波回顾（2023 年 11 月）

1.1 危机时刻的感受

请带我回顾一下从 11 月 16 日星期四开始的 OpenAI 董事会风波，对您来说可能是 11 月 17 日星期五。

那绝对是我职业生涯中最痛苦的经历（most painful professional experience），充满混乱（chaotic）、羞耻（shameful）、心烦意乱（upsetting），以及一堆其他的负面情绪。其中也有很棒的事情，我希望当时不是在那种肾上腺素激增（adrenaline rush）的状态下，那样我就能停下来欣赏它们了。

我看到了我那个时期的一条旧推文，或者说那条推文，它感觉有点像参加自己的悼词（going to your own eulogy），看着人们说所有这些关于你的好话，以及来自我爱和关心的人的难以置信的支持（unbelievable support）。那真的很好。除了一个很大的例外，那个周末我感受到了一种巨大的爱（great deal of love），很少有仇恨（very little hate），尽管感觉我不知道正在发生什么，也不知道接下来会发生什么，而且感觉真的很糟糕。而且确实有那么几次，我以为这会成为发生在 AI 安全领域最糟糕的事情之一（one of the worst things to ever happen for AI safety）。我也很高兴它发生得相对较早（relatively early）。

我曾认为，在 OpenAI 开始到我们创造 AGI 之间的某个时刻，会发生一些疯狂且爆炸性（crazy and explosive）的事情，但未来可能还会发生更多疯狂和爆炸性的事情。它仍然帮助我们建立了一些韧性（resilience），并为未来的更多挑战做好准备。

1.2 权力斗争与事后状态

但您曾预感到会经历某种权力斗争。通往 AGI 的道路应该是一场巨大的权力斗争。我是说世界应该...好吧，不是应该。我预计情况会是这样。所以您必须经历这一切，就像您说的，尽可能经常地迭代（iterate），以弄清楚如何拥有董事会结构（board structure）、如何拥有组织（organization）、如何拥有与您共事的那种人，以及如何传达所有这些，以便尽可能地缓和（deescalate）权力斗争，平息（pacify）它。

但在这一点上，感觉它已成为过去，那是非常不愉快、非常困难和痛苦的。但我们已经回到工作岗位，事情非常繁忙和紧张，所以我没有花很多时间去思考它。事后有一段时间。大约一个月后，可能是 45 天后，我处于一种迷离状态（fugue state），我只是在日子里漂流（drifting through the days），我非常心不在焉。

1.3 心理低谷与专注使命

回顾过去并反思董事会结构、权力动态、公司如何运营，以及研究、产品开发和金钱之间的张力（tension）等等，仍然是有用的，这样您就有很高的潜力在未来以一种稍微更有组织、更少戏剧性（slightly more organized, less dramatic way）的方式构建 AGI。因此，这对于您作为领导者的个人心理方面，以及董事会结构和所有这些混乱的事情，都有价值。

绝对学到了很多关于结构（structure）和激励（incentives）的知识，以及我们对董事会的需求。而且我认为，从某种意义上说，这件事情现在发生是有价值的。我认为这可能不是 OpenAI 最后一个高压力时刻（high stress moment），但这确实是一个相当高压力的时刻。

1.4 危机中的学习：韧性组织与治理

公司差点被摧毁（Company very nearly got destroyed）。我们思考了很多关于为了 AGI 必须做好的其他事情。但是，思考如何建立一个有韧性的组织（resilient org），以及如何建立一个能够承受世界巨大压力的结构——随着我们越来越接近 AGI，我预计这种压力会越来越多——我认为这超级重要（super important）。

您是否了解董事会审议过程（deliberation process）的深度和严谨性？ 您能阐明在这种情况下涉及的人类动态（human dynamics）吗？ 它是仅仅几次对话，然后突然升级到“我们为什么不解雇 Sam 呢”这种事情？

我认为总体而言，董事会成员是怀有善意的人（well-meaning people）。我相信在人们感到时间压力（time pressure）或其他压力的紧张情况下，人们做出次优的决定是可以理解的。我认为 OpenAI 的挑战之一将是，我们必须拥有一个擅长在压力下运营（operating under pressure）的董事会和团队。

1.5 董事会权力的本质

您认为董事会权力过大吗？

我认为董事会应该拥有很大的权力，但我们确实看到的一件事是，在大多数公司结构中，董事会通常对股东（shareholders）负责。在这种情况下，我认为我们的结构中有一点是我们应该比实际做得更多思考的，那就是非营利组织的董事会，除非您设置了其他规则，否则它们拥有相当大的权力（quite a lot of power），它们不向除自己以外的任何人负责（don't really answer to anyone but themselves）。这在某些方面是好的，但我们真正希望的是 OpenAI 的董事会对整个世界负责（answer to the world as a whole），只要这是实际可行的。

1.6 新董事会的构成与遴选

所以宣布了新董事会。

旧董事会在大约一年的时间里规模变小了。它最初是 9 个人，然后降到了 6 个人，然后我们无法就增加谁达成一致。而且我认为，旧董事会也没有很多经验丰富的董事会成员（experienced board members），而 OpenAI 的许多新董事会成员只是拥有更多的董事会成员经验。我认为这会有帮助。

一些被加入董事会的人受到了批评（criticized）。我听说很多人批评增加了拉里·萨默斯（Larry Summers）。

1.7 挑选董事会成员的准则

对于新的董事会成员，我们有一些标准，我们认为对于董事会拥有我们希望他们拥有的不同专业知识（different expertise）很重要。董事会需要做好治理（governance）和深思熟虑（thoughtfulness）的整个角色。

布雷特（Bret）说的一点我很喜欢，那就是我们希望以成批（slates）的方式聘请董事会成员，而不是一次一个地聘请个人。我们努力优化的方向是寻找能带来非营利组织专业知识（nonprofit expertise）、运营公司专业知识（expertise at running companies），以及良好的法律和治理专业知识（legal and governance expertise） 的一群人。

技术娴熟度（technical savvy）对并非所有董事会成员都重要，但肯定有一些人需要。

第二部分：个人心理、信任与团队

2.1 危机时刻的接受与情绪

您是否考虑过去亚马逊丛林（Amazon jungle），只是服用死藤水（Ayahuasca）然后永远消失？

那是一段非常糟糕的时期。我的手机不停地被我每天共事的人、以及我十年没说过话的人 发来的友好信息炸开（nonstop blowing up）。那是一个非常痛苦的周末，而且也是一场在公共场合进行到令人惊讶程度的战斗，这让我筋疲力尽（extremely exhausting）。

董事会在那个星期五下午做了这件事。我当时想：“好吧，董事会可以这么做。” 我会试着从中找到塞翁失马焉知非福（blessing in disguise）。我最喜欢的事情就是能和研究人员一起工作。我想，我可以去做一个非常专注的 AI 研究工作（AI research effort）。我对此感到兴奋。

我非常快（Very quickly） 就经历了短暂的困惑和愤怒（confusion and rage）时期，但很快就过去了。我对新事物感到兴奋。

在那个四天半的时间里，我没怎么睡觉，也没怎么吃东西，但仍然有惊人的精力（surprising amount of energy）。您学到了关于肾上腺素（adrenaline）和时间的怪异之处。

2.2 绝望与主导情绪

在那个周末最痛苦的时候，我们一直被告知：“好了，我们快完成了，快完成了。” 那是一种非常困惑的状态（confusing state）。然后是星期日晚上，董事会任命了一位新的临时 CEO（new interim CEO），那感觉真的很糟糕。那是整个事件的最低点（low point of the whole thing）。

整个周末我都感受到了很多的爱。除了星期日晚上的那一刻，我不会将我的情绪定性为愤怒或仇恨，但那个周末主导的情绪是爱，而不是仇恨。

2.3 信任的改变

这是否让您在信任他人方面变得更犹豫？ - 是的。

我一直以来的人生哲学是：不要担心所有的偏执（paranoia），不要担心边缘情况（edge cases）。您会受一点损失，以换取可以放下戒心（live with your guard down）生活。这件事对我来说太令人震惊了。我完全措手不及（caught off guard），这绝对改变了我的想法，而且我真的不喜欢这样。这绝对改变了我对默认信任他人（default trust of people）以及规划糟糕情况（planning for the bad scenarios）的看法。

2.4 对团队的信任

就这里的团队而言，我认为您必须给我打一个非常好的分数（very good grade）。我对与我每天共事的人怀有巨大的感激、信任和尊重（enormous gratitude and trust and respect）。我认为被这样的人包围非常重要。

2.5 对 Mira Murati 的欣赏

我在领导者身上真正看重的一点是，人们在早上 9 点 46 分的沉闷星期二（boring Tuesday at 9:46 in the morning）的表现，以及在日常的沉闷苦差事（drudgery of the day-to-day）中的表现。这就是我所说的安静时刻 的意思。

第三部分：Ilya Sutskever 与 AGI 安全

3.1 Ilya 的现状与关系

3.2 关于“看到 AGI”的迷因

有个迷因说他看到了什么，比如他可能看到了 AGI。Ilya 到底看到了什么？

3.3 Ilya 的思考方式

他总是在进行这种长期思考（long-term thinking）。他不是在思考一年后会怎样。他在思考十年后会怎样。只是从第一性原理（first principles）出发思考，比如：好的，如果规模扩大了，这里的基本原理（fundamentals）是什么？ 这将走向何方？

3.4 风波的总结

我认为这就像一场怪异的完美风暴（perfect storm of weirdness）。这对我来说就像是一个预演（preview），预演了随着风险越来越高会发生什么，以及我们需要健壮的治理结构、流程和人员（robust governance structures and processes and people）的需求。我有点高兴它在那个时候发生了，但这是一件令人震惊的痛苦经历。

第四部分：计算、未来与 AGI 展望

4.1 计算将是未来的货币

我认为计算（compute）将成为未来的货币（currency）。我认为它可能会成为世界上最宝贵的商品（most precious commodity）。

4.2 AGI 时间线与能力

4.3 个人责任与权力结构

谁授予了您（或任何人）这样做的道德权威（moral authority）？

我将非常诚实地回答。我认为重要的是，我，或任何其他一个人，不拥有对 OpenAI 或 AGI 的完全控制权（total control）。您想要一个健壮的治理系统（robust governance system）。