奥特曼最新万字访谈：GPT-5能力提升超乎想象，算力将成为未来最重要的货币

2024-03-20 11:35:58 比特币

3月19日，OpenAI CEO 山姆·奥特曼（Sam >在这次持续了近两个小时的采访中，奥特曼不仅深入剖析了OpenAI董事会近期的变动，还畅谈了首席科学家伊利亚·苏茨凯弗（Ilya Sutskever）的未来动向、与马斯克起诉案相关的纷争，以及引发巨大讨论的AI文字转视频工具Sora、豪掷7万亿美元的芯片计划、即将推出的新一代大语言模型GPT-5，乃至通用人工智能（AGI）的远景规划等。

重点包括：

算力将成为未来最宝贵的财富之一，会成为未来的“货币”，人工智能的发展将是一场巨大的权力斗争。
公司、组织、国家都可能为了争夺这份未来的“货币”而展开竞争。在这场竞争中，OpenAI得关注如何公平、公正地分配和使用算力。不能让算力加剧社会不平等，而应该成为推动全人类进步的力量。
被罢免的那个周末痛苦万分，看自己的推文就像看悼词，董事会应该拥有重大的权利，但并不是从自身利益出发，而是能够对全世界负责，这一经历有助于增强韧性。
OpenAI正在寻找新的董事会成员，希望引入具有不同专业背景的人才，包括非营利组织、学习型公司、法律和治理等领域的专家。
GPT-4是一个重要的里程碑但并不足以改变世界，真正意义上的AGI应该能够显著提高科学发现的速度。
Ilya 从来没有见过通用人工智能（AGI），没有任何人见过，OpenAI也还没造出通用人工智能，Ilya对未来深思熟虑，非常关心人工智能的安全性和社会影响。
对马斯克来说，诉讼OpenAI这件事并不是开源与否的问题，Grok之前从没开源过任何东西，直到有人指出马斯克这样做有些伪善，才在最近开源。
开源模型在未来肯定有一席之地，尤其针对那些规模较小、可以在本地运行的模型。
OpenAI的目标是创建能够理解和生成自然语言的系统，这些系统可以帮助人们更高效地完成任务。OpenAI最重要任务就是让每个人免费地使用AI，作为一项公共福利，通过提供强大的AI工具来赋能个人和社区，开源应该是有选择性的。
大部分真正的经济增长来自科学技术的进步，人工智能是一个工具，它将在更短的时间内帮助人类执行越来越多的任务，这让人类能够在更高层次上进行抽象思考。
人工智能可能更像是人类之间相互支撑、相互联系的社会结构。
未来编程可能会以自然语言交互的方式进行，传统的编码方式可能会逐渐减少。
目前AI安全研究者过于关注某些具体的技术进步，而忽视了其他一些重要的问题，人工智能军备竞赛是个双刃剑。
GPT-5的性能会全面提升，GPT-5和GPT-4的差距，可能会跟GPT-4和GPT-3一样大，仍旧在研究OpenAI机器人。
Sora将进一步展示了AI在创造复杂、动态和视觉吸引人的虚拟世界方面的巨大潜力，这些技术不仅对游戏和娱乐产业有重大意义，也为科学研究、教育和工业模拟等领域提供了新的可能性。
人工智能将推动人类社会持续进步。

谈话内容，按顺序整理如下：

1:05 - OpenAI董事会纷争

18:31 - Ilya Sutskever

24:40 - 埃隆·马斯克诉讼案

34:32 - Sora

44:23 - GPT-4

55:32 - 记忆与隐私

1:02:36 - Q*

1:06:12 - GPT-5

1:09:27 - 7万亿美元的算力

1:17:35 - 谷歌和Gemini

1:28:40 - 跃升到GPT-5

1:32:24 - AGI(通用人工智能)

1:50:57 - 外星人

以下为访谈全文：

OpenAI 董事会之争

Lex Fridman

请你带我了解一下从11月16日星期四开始的，或者对你来说是11月17日星期五的 OpenAI 董事会那一连串的事件。

Sam >那确实是我一生中最痛苦的职业经历，混乱、羞耻、心烦，还有很多其他的负面情绪。当然也有不少好的方面，但我当时被肾上腺素冲得头昏眼花，从而能够停下来细细品味那些宝贵的经历。

我翻看了那个时期自己发的一条旧推特，感觉就像在读自己的悼词，看着别人对你说出的那些美好的话，感受到来自我所爱和在乎的人的强大支持，那真的非常美妙。

整个周末，尽管遭遇了一些不愉快的事情，但总体而言，我感受到的爱远远超过了恨。尽管当时感觉自己完全搞不懂发生了什么，接下来会发生什么，这感觉真的很糟糕。确实有些时候，我认为这可能会成为AI安全领域发生的最糟糕的事情之一。不过，我也觉得，它发生得相对较早是件好事。但我也很庆幸这一切发生得相对较早。

我认为在OpenAI成立和通用人工智能（AGI）诞生的过程中，注定会有一系列疯狂且具有爆炸性的事件发生，而且未来也许还会有更多疯狂的事情发生。这些事件虽然令人不安，但也为我们提供了宝贵的经验和教训，为未来应对更多挑战做好了准备。

Lex Fridman

但你有没有预感到，你可能会经历某种权力的角逐？

Sam >通往AGI的道路肯定会充满激烈的权力角逐。

Lex Fridman

所以你必须得经历这个过程，正如你所说，要尽可能频繁地迭代，弄清楚如何构建董事会的架构，如何进行组织管理，如何选对合作伙伴，以及如何有效沟通，目的是为了尽量减少权力斗争。

Sam >没错

Lex Fridman

放轻松

Sam >但现在，那感觉像是一段已经过去的时光，曾经非常艰难、痛苦，难以忍受，但我们又回到了工作岗位，事情忙得不可开交，强度巨大，以至于我并没有太多时间去回想那段经历。那之后有一阵子，可能是一个月左右，或者说 45 天之后，我仿佛处于一种恍惚状态，每天都感觉自己像漂流瓶一样，茫然四顾。我的精神完全崩溃了，情绪也陷入了极度低落。

Lex Fridman

就在个人心理层面上？

Sam >是的，非常痛苦。而且在那种情况下还得坚持管理 OpenAI，难度真的很大。我只想找个洞穴钻进去，好好休养一阵子。不过现在，我们又回到了奋战在我们的使命上。

Lex Fridman

嗯，对于你这样有极高潜力打造 AGI 的人来说，回过头去反思董事会架构、权力动态、公司运作方式、研究与产品开发之间的张力、金钱等因素，无疑是有益的。这样一来，未来你在建立 AGI 的道路上，可以更加有条不紊，少一点戏剧性冲突。所以，不妨去那儿走一遭，不仅是为了你作为领导者的个人心理层面的成长，同时也是为了搞清楚董事会结构和所有那些复杂混乱的事务。

Sam >我确实从中学到了许多关于组织结构、激励机制以及我们对董事会的期望。在某种意义上，这种情况现在发生我觉得还是有它的价值的。我认为这可能不是 OpenAI 最后一次面对如此大的压力，但这无疑是一个相当紧张的时刻。我的公司差点就垮了，除了考虑很多其他我们必须为 AGI 准备好的事情外，思考如何打造一个有韧性的组织、如何构建一个能承受世界压力的结构体系，我认为这非常关键。

Lex Fridman

你能感觉到董事会在决策过程中的深度和严格程度吗？能否透露一下这种情形下涉及的人与人之间的动态是怎样的？是不是就几次对话后事态突然激化，然后就有人说“为什么不开除 Sam”这种话？

Sam >我认为董事会成员总体上都是出于好意的人，我相信在那种压力环境下，人们感到时间紧迫或其他什么，人们会做出不那么明智的决定都可以理解。我认为OpenAI面临的挑战之一将是，我们需要有一个擅长在压力下运作的董事会和团队。

Lex Fridman

你觉得董事会的权力过大了吗？

Sam >我觉得董事会理应掌握重要的权力，但是，我们注意到，在大多数公司架构中，董事会通常需要对股东们负责。有时人们拥有超级投票权或其他什么。在这个情况下，我觉得对于我们的架构来说，我认为我们结构中的一个问题是，我们可能没有充分考虑到非营利组织董事会实际上掌握着很大的权力，他们并不真正向任何人负责，除了他们自己。这样有它的好处，但我们更希望的是 OpenAI 的董事会能够对全世界负责，尽管我们知道在实践中这可能很难做到。

Lex Fridman

所以他们宣布成立了一个新的董事会。

Sam >嗯，对。

Lex Fridman

刚开始是一个新的小型董事会，现在又换成了新的正式董事会？

Sam >我们的董事会还没有最后敲定。我们已经添了一些成员，接下来还会继续增加。

Lex Fridman

加了一些。好的。在新版本里修复了之前版本哪些可能出现的问题呢？

Sam >旧董事会在大约一年时间里逐渐缩减了。起初是九个人，后来减到六个，接着我们在增补新成员上意见不统一。我觉得董事会中也缺乏经验丰富的成员。而现在 OpenAI 的新董事会成员们都有着更多的董事会工作经验。我认为这会有所改善。

Lex Fridman

这个问题受到了不少批评，比如有人对拉里·萨默斯被加入董事会表示不满。你们挑选董事会成员的过程是怎样的？这个过程中涉及哪些因素？

Sam >选择Bret Taylor和萨默斯为董事会成员是在那个非常紧张的周末做出的决定，而那个周末真是就像坐过山车一样，给人一种大起大落的感觉。我们尝试就新的董事会成员名单达成一致，这些成员既要让这里的执行团队感到满意，也要得到原董事会成员的认可。

实际上，萨默斯是原董事会成员推荐的人选之一。至于Bret，我想在那个疯狂周末之前，我就提议过他，但他当时很忙，不想接受这份工作。之后，我们确实需要帮助，他才加入进来。我们也考虑了很多其他人选，但我觉得如果我回来的话，我需要更换新的董事会成员。我不认为我可以在同样的人员配置下再次与原董事会合作，尽管后来我们决定让亚当·德安吉洛（Adam D'Angelo）留下。但我们考虑了各种配置，最终决定想要组建一个三人的董事会，并需要短时间内找到两名新的董事会成员。

所以那些决定确实是直接做出的，你必须在战场上迅速做出决定。那时你没有时间设计严格的流程。对于之后的新的董事会成员，以及我们还将要继续添加的新成员，我们有一些认为对董事会来说重要的标准，我们希望这些人具备的不同专长。与招聘一名高管不同，他只需要把一个角色做好，但对于董事会成员来说，他需要需要在治理和思考方面表现出全方位的能力。因此，布雷特说的一句话我很认同，那就是我们想要以成批的形式招聘董事会成员，而不是一次一个地招聘。我们正在考虑的是一群能够带来非营利组织专业知识、公司运营专业知识、良好的法律和治理专业知识的人，这是我们试图优化的目标

Lex Fridman

那么，董事会成员个人的技术水平重要吗？

Sam >不是每个董事会成员都需要这类素养，但确实有一些人需要。这也是董事会职责一部分。

Lex Fridman

人们可能还不太了解 OpenAI 的有意思的一面，我自己肯定也不够了解，那就是运营业务的所有那些细枝末节。当人们想到董事会，再想到那些戏剧化的元素，他们首先想到的是你。他们会思考，如果你们开发出通用人工智能（AGI）或者其他一些具有巨大影响的产品，并且成功将它们推向市场，那么你和董事会之间会有怎样的对话呢？他们还会考虑，在这种场景下，要组建一个怎样的团队来进行决策和讨论？

Sam >你看，我认为董事会里肯定需要一些技术专家。同时，也需要那些会考虑到：“我们怎样部署这项技术才能最大限度地造福人类？”的人。还需要那些有着截然不同视角的人。我想，像你我这样的人可能会犯的一个错误就是以为只有技术上的理解才是关键，这确实是你希望董事会讨论的内容之一，但还有很多其他方面，比如这项技术将如何影响社会和人们的生活，这些你也同样希望能够在董事会中得到体现。

Lex Fridman

你是在审查他们过去的成就记录，还是只是跟他们进行交流？

Sam >过往经历很重要，但有些职位我完全不看重过往经历，只看他的上升势头，忽略掉Y轴的截距。

Lex Fridman

谢谢你。感谢你用数学的方式向观众阐明问题。

Sam >作为董事会成员，我确实更在乎 Y 轴截距。在这方面，我觉得对于过往业绩的记录能说的深入之处很多，而且经验是一种很难替代的东西。

Lex Fridman

你是尝试将过往经历拟合为多项式函数还是指数函数？

Sam >这个比喻有点牵强。

Lex Fridman

好的，你之前提到了那个周末经历的一些低谷时刻。在心理上，你都遇到了哪些挫折呢？你有没有想过干脆去亚马逊雨林，尝试一下阿亚瓦斯卡（一种致幻剂），然后就此隐匿天涯呢？

Sam >这段时间真的很糟糕，不过也有一些非常棒的时刻，我的手机简直要爆炸了，一直收到来自我日常工作的伙伴们，以及那些十年未见的老朋友们发来的暖心信息。我应该更加珍惜这些时刻，但当时我忙于应对危机，没能充分感受到这份温暖，不过这确实让人感觉很啊后。总体而言，那个周末非常痛苦，它就像是一场在公众视线中打响的战斗，出乎意料地让我筋疲力尽，远比我预期的要累。

通常争斗本就令人筋疲力尽，而这场尤其如此。董事会在周五下午做了这个决定。我真的很难获得任何答案，但我也觉得，既然董事会有权这么做，那么我就应该花点时间好好想想我接下来想要做什么。不过，我会试着在这件事中寻找隐藏的幸运。

我当时心想，我的目前职位在 OpenAI，或者至少过去是，负责运营一个规模相当大的公司。我一直最喜欢的部分就是与研究者们共事。然后我就在想，对，我完全可以去从事一项高度聚焦的 AGI 研究工作。这个想法让我感到很兴奋。当时我甚至没意识到，所有这些努力可能会化为泡影。那是在一个星期五的下午。

Lex Fridman

所以你已经接受了这一的终结……

Sam >非常快，真的非常快。我确实经历了一段时间的迷茫和愤怒，但这种状态转瞬即逝。到了周五晚上，我已经在跟人讨论下一步该怎么做，而且我对此感到振奋。我记得是周五晚上，我首次听到我们执行团队的人说：“嘿，我们将会反击。” 然后，我带着兴奋的心情上床睡觉了，心想，向前冲。

Lex Fridman

你能睡着吗？

Sam >不多。有一段蛮奇怪的时期，大概四天半吧，我几乎没怎么睡觉，也没怎么吃东西，但是依然精力充沛。你会在战时了解到一些关于肾上腺素的奇特现象。

Lex Fridman

所以你已经接受了，这个被你视为孩子的 OpenAI 会有失败的一天。

Sam >我当时对那个新东西特别激动。就那么想着，“行吧，这玩意儿确实疯了点，但管它呢。”

那天周六早上，两位董事会成员给我打电话说，“嘿，我们并不是想搅局。我们不打算在这里大把存储价值。我们能谈谈你回归的事情吗？”起初，我真的不想回去，但后来我又仔细思考了一番，我意识到我非常关心这里的人，我的合伙人和股东们。我爱这家公司。于是，我想了想，对他们说：“好吧，不过我有我的条件。”而那整个周末，是最让人痛苦的时刻，我不断地反思，也被告知，而且不只是我，我们整个团队都在想，我们正在努力维持 OpenAI 的稳定，而此时全世界似乎都在试图将其分崩离析，到处都有人在尝试挖角。

我们一直被告知，“好了，我们快要弄完了。我们快要完成了。我们只需要再多一点点时间。”这让人非常困惑。直到周日晚上，我几乎每隔几小时就会以为我们就要结束了，我们能找到方法让我回去，让一切恢复原状。但董事会随后任命了一位新的临时CEO，那一刻我感觉真的很难受。那是整件事中最低谷的时刻。我跟你说，虽然感觉非常痛苦，但我在那整个周末都感受到了很多爱。除了那个周日晚上的瞬间，我不会说我的感受是愤怒或恨，相反，我感受到了来自人们的爱，也对他们满怀爱意。那很痛苦，但那个周末的主导情绪是爱，而不是恨。

Lex Fridman

您曾对 Mira Murati 给予高度评价，说她在那些关键的、平静的时刻给予了特别的帮助，就像您在推文中提到的那样。或许我们可以稍微绕个弯。您最欣赏 Mira 的什么特质呢？

Sam >她在那个周末的混乱中表现得非常出色，但人们往往是在危机时刻，无论好坏，才会关注领导者的表现。然而，我真正看重的是，在一个平凡的周二早上 9 点 46 分，在日常的平淡和繁琐中，领导者如何行动。一个人怎样出席会议，他们作出决策的质量如何。这就是我提到的“静默时刻”的含义。

Lex Fridman

绝大多数的工作都是日复一日，在一次次会议中慢慢推进的。只需要聚精会神，做出优秀的决策就行了。

Sam >是的，看吧，你想要花费过去二十分钟探讨的那件事——我明白——是关于那个非常戏剧化的周末，但那并不是 OpenAI 的核心所在。OpenAI 的重心实际上在于其余的七年。

这为我们提供了洞察人性的窗口，包括人性的极致以及或许正是在那些时刻，人类文明的某些毁坏和伟大成就得以显现，因此这非常具有启发性。

Ilya Sutskever 去哪了

Lex Fridman

那么关于 Ilya 的问题，我可以问你吗？他是不是被关在某个秘密核设施里作为人质？

Sam >不是

Lex Fridman

那么普通的秘密基地呢？

Sam >不是

Lex Fridman

一个不涉密的核设施怎么样？

Sam >肯定也不是

Lex Fridman

这事儿已经有点成梗了。你跟 Ilya 认识很长时间了对吧。他显然卷入了那场董事会的风波。现在你俩的关系怎样？

Sam >我非常喜爱 Ilya，对他也有着极大的敬意。关于他的计划，我现在真的没什么可以透露的。这应该由他来回答。不过，我真心希望我们能够持续合作，至少在我的职业生涯剩余时光里。他比我年轻那么一点，也许他会比我工作更长久一些。

Lex Fridman

有个流传的段子说，他看到了一些东西，好像是他看到了AGI，这件事让他内心充满了忧虑。Ilya 到底看到了什么？

Sam >Ilya 从来没有见过通用人工智能（AGI）。我们任何人都还没有。我们也还没造出通用人工智能。不过，Ilya身上有很多让我敬佩的品质，其中一个就是他非常重视关于通用人工智能及其广泛的安全问题，这包括它可能对社会造成的影响。随着我们不断地取得显著进展，这几年我最多的时间都是和伊利亚一起讨论这将意味着什么，我们需要怎么做才能确保做得正确，以保证我们的使命能够成功完成。

所以，虽然伊利亚没有见过 AGI，但他对确保我们在这个过程中行得正、走得稳的深思熟虑和忧虑，对人类来说是一份宝贵的贡献。

Lex Fridman

我过去与他有过不少交流。我觉得，每当他谈到技术，他总是持有一种长远的思考方式。他不太关心一年内会发生什么，而是在想象10年后的情况，基于首要原则去思考：“好的，如果这东西真的能够扩展开来，那么基本要素是什么呢？会有哪些发展？”这种思考方式为他们在关注所有的安全问题等方面打下了坚实的基础，这也让和他对话变得非常吸引人。你了解他为何近来鲜有发声吗？他是不是在做些灵魂深处的思索呢？

Sam >再说一次，我不想代表 Ilya 发言。我觉得你应该亲自去问问他。他绝对是个思考深刻的人。我认为 Ilya 始终在以非常积极的方式进行灵魂探索。

Lex Fridman

是的，他还真懂得沉默的魅力。我听说他其实挺逗的，不过我个人还没机会见识过这一面。

Sam >当那种情况发生时，感觉真的很温馨。

Lex Fridman

我还没遇到过傻傻的Ilya，不过我也挺期待这一天呢。

Sam >我最近和他一起去了个晚宴，他当时正在和一只小狗玩，心情非常轻松、嬉皮，真的很让人觉得亲切。我当时就想：哇～这面是 Ilya 不太给外界看到的。

Lex Fridman

那么，就这整桩事情而言，你对董事会的架构满意吗？

Sam >是的

Lex Fridman

… 关于这一切及其走向，你有何看法？

Sam >我对新董事会的组建感到非常满意。在 OpenAI 的架构方面，董事会的职责之一就是进行审视，看看我们如何能够加强其结构的韧性。我们的首要任务是先确定新的董事会成员，但显然在这个过程中，我们对结构的认识有了显著的进步。我认为我没有什么特别深刻的见解。这是一段极其混乱和痛苦的经历。我觉得这就像一场怪异的完美风暴。这对我来说预示着未来的挑战，随着赌注的不断升高，我们需要有更为强健的治理结构、流程和团队。我很庆幸这一切在我还年轻时发生，但实际上这是一次异常艰难的经历。

Lex Fridman

这会不会使你在信任别人方面变得更加犹豫呢？

Sam >是的

Lex Fridman

就个人而言？

Sam >是的，我自认为是一个极度信任他人的人。我一向坚持的人生哲学是：不必太过担忧，不必在意那些偏执的疑虑和极端的可能性。这样做的代价可能是偶尔吃点小亏，但作为回报，你得以放松警惕地生活。然而这件事对我来说真的是晴天霹雳，我措手不及，它确实改变了我。我并不喜欢这种改变，但它确实影响了我对于对人默认信任的态度以及对潜在坏情况的规划。

Lex Fridman

你得在这方面多加留心。你担心自己会变得过于愤世嫉俗吗？

Sam >我不害怕自己会变得过于愤世嫉俗。我觉得我本性里就很不愤世嫉俗，但我担心，自己可能逐渐丧失那种对别人的本能信任。

Lex Fridman

我其实还没把握好，对于那些正致力于开发通用人工智能的人而言，是信任模式更为适宜，还是持怀疑态度更好。这条路你走得真有意思。不过说到架构，我其实更关注人这一层面。你怎么做到让自己周围都是那些既在打造酷炫东西，又能作出睿智选择的人？因为你挣的钱越多，这件事的影响力也就越大，周围的人就越发变得诡异。

Sam >我觉得你完全可以就董事会成员的问题，以及我应该给予的信任程度，或者说我应该采取不同的做事方式提出种种意见。但如果说到这里的团队，我相信你会给我一个非常高的评价。对于那些我每天都要共事的人，我心中充满了巨大的感激、信任和尊重。我认为，让自己被这样的人包围是极其重要的。

Lex Fridman

我们共同的朋友 Elon Musk 起诉了 OpenAI。在你看来，他批评的核心问题是什么？他有多少批评是站得住脚的？又有多少是误会或不对的？

Sam >我真的不清楚这到底是怎么一回事。最初，我们只认为自己将成为一个研究实验室，对这项技术未来的发展毫无头绪。那是七八年前的事了，现在想回忆起当时的情况真的很难，那个时候语言模型还没成为热门话题。我们甚至还没想到要开发一个 API 或者卖聊天机器人的访问权限。我们也没有想过要将其产品化。当时我们的想法就是，“我们就去做研究吧，至于研究成果能用来做什么，我们并不清楚。” 我想在探索完全新颖的事物时，你总是摸着石头过河，制定一些假设，而这些假设大多数最终都被证明是错误的。

接着，我们意识到我们需要做出一些不同的事情，并且需要巨额的资本。所以我们就在想，行吧，当前的结构显然不太合适。我们该怎样去补救？补了一次又一次，最终我们得到的东西确实让人不禁挑挑眉毛，至少可以这么形容。不过，我觉得我们在每一步都做出了合理的决策。这并不是说如果能有机会回到过去，有个先知在旁边指导，我就不会选择完全不同的做法。不过，当时我们手边可没有先知。不管怎样，至于埃隆真正的动机是什么，我真的不清楚。

Lex Fridman

在 OpenAI 的博客文章中，他们给出的回应主要集中在为什么他们认为不应该继续推出完整版 GPT-3 API 的理由。他们提到了对模型潜在被滥用的担忧，以及他们认为现阶段需要加强监管和提高透明度。此外，他们也谈到了对于 AI 长期影响的责任感，并表示愿意与其他机构合作，确保 AI 的使用是安全和有益的。

Sam >哦，我们刚刚提到埃隆表达了一系列看法。这里是我们的陈述，或者说不是我们的陈述。这是对事件经过的一个描述。我们试图不带入个人情绪，只是陈述，“这就是历史。”

Lex Fridman

我觉得 Elon 对你刚才提到的一点有些误解，也就是你们当时所面临的不确定性有多大。你们只是一帮小研究团队，疯狂地讨论着 AGI，而那时候，所有人都觉得这个想法很可笑。

Sam >Elon 不久前还在疯狂地谈论发射火箭，那时候大家都对这个念头嗤之以鼻，所以我觉得他对这件事会有更多的共鸣。

Lex Fridman

我确实认为这里面有一些个人的因素。OpenAI 和这里的很多了不起的人决定与 Elon Musk 分道扬镳，因此存在一些个人层面的-

Sam >Elon 选择了离开

Lex Fridman

你能具体说说吗？那种选择分道扬镳的情形？

Sam >他觉得 OpenAI 快要失败了。他想要完全控制权来挽救局面。但我们想要继续沿着现在 OpenAI 所走的方向前进。他还想要特斯拉能够开展一个 AGI （人工通用智能）项目。他在不同时间点有过多种想法，包括把 OpenAI 变成一个他能控制的盈利性公司，或者是让它与特斯拉合并。我们并不同意这样做，于是他决定离开，这也挺好的。

Lex Fridman

所以你的意思是，正如那篇博客文章里提到的，他想要的是 OpenAI 能被特斯拉收购，或许是与微软的合作方式有点相似，或者说可能是一种更为戏剧化的形式。

Sam >我的记忆里，那个提议就是这么回事，就是说，被特斯拉收购，然后让特斯拉完全掌控它。我很确定提议就是这个意思。

Lex Fridman

当时，Elon，OpenAI 中的 “open” 对你意味着什么？Ilya 在邮件往来中已经谈论过这个话题。那时候它对你意味着什么？现在又是怎样的意义呢？

Sam >说到如果能带着一个“神谕”重来，我可能会选一个不同的名字。OpenAI 正在做的众多事情中，我认为最重要的就是免费地将强大技术交到人们手中，作为一项公共福利。我们不在我们的服务上投放广告——

Sam >作为公共利益的一部分，我们没有在免费版本中投放广告，也没有通过其他途径来盈利。我们的出发点只是我们的使命 —— 免费为人们提供越来越强大的工具，并且让他们去使用。我觉得这样的开放对我们的愿景至关重要。如果我们能够提供优秀的工具，让人们学会使用，或者他们甚至可以自学成才，然后用这些工具为彼此打造一个美好的未来，这将是意义重大的。所以，如果我们能持续向世界提供免费或低成本的强大 AI 工具，这将极大地推进我们的使命。至于是否开源，嗯，我认为我们应该对一些东西开源，而对其他的则不必。这件事往往会变成一种信仰之争，很难保持中立，但我相信寻找平衡点才是正确的做法。

Lex Fridman

所以他就跟我说：“如果你们把名字改成 CloseAI ，我就撤销诉讼。” 我是说，难道这就要成为一个围绕名字的梗，在这片战场上互相对决了吗？

Sam >我觉得这体现出 Elon 提起诉讼的严肃态度，说实话，这种说法真是让人吃惊。

Lex Fridman

你要是觉得我错了就纠正我，但我个人觉得这场官司在法律上并不算严重。它更多的是在向人们传递一个关于未来通用人工智能（AGI），以及目前在这个领域领先的公司的信息。

Sam >看，我的意思是，在人们指出这样做有点伪善之前，Grok 是没有开源过任何东西的。然后，他宣布 Grok 将在本周开始开源一些东西。我认为对他来说，这件事并不仅仅是关于是否开源的问题。

Lex Fridman

嗯，我们会讨论一下开源和非开源的话题。我倒是觉得，批评一下竞争对手挺好的，适当地说点坏话也无妨。但这得是建立在友好竞争的基础上，比起来，我个人真是非常讨厌打官司。

Sam >“看，我认为整个事情对于一个建造者来说是不应该的。我尊敬埃隆，他是我们时代最伟大的建造者之一。我知道他清楚地感受过被那些仇恨者攻击的滋味，这让我看到他这样做时更加感到悲哀。”

Lex Fridman

是的，他可以说是史上最杰出的创造者之一，甚至可能是有史以来最卓越的建设者。

Sam >这让我感到悲伤。我觉得很多人也有同样的感受。一直以来，有那么多人仰慕他。我在某个访谈里说过，我怀念曾经的 Elon，结果收到了好多回信，他们都说：“你的话完全表达了我的心声。”

Lex Fridman

我觉得他就应该赢。他应该让 X Grok 打败 GPT，然后 GPT 又反过来打败 X Grok，就这样互相竞争，对大家来说都是一件美事。但说到开源的话题，你认为有很多公司在探索这个概念吗？这挺有意思的。我倒觉得 Meta 出乎意料地在这个领域走在了前面，或者至少在这场棋局中，它是第一个真正开放源码的。当然了，他们开源的并不是最尖端的模型，不过他们开源了 Lama。谷歌也在考虑开放一个规模较小的版本。开源有什么优缺点？你自己有没有思考过这个问题？

Sam >是的，我确信开源模型绝对有其立足之地，尤其是那些人们可以在本地执行的体积较小的模型，这方面确实存在巨大的需求。我想未来会出现一些开源模型，也会有一些闭源模型。这一点上，它并不会与其他生态系统有所不同。

Lex Fridman

我听了所有关于这起诉讼和其他类似事情的播客。他们更加关注的是，从非盈利到设定盈利上限这一变化所树立的先例对其他初创企业会有什么影响？这会是一个怎样的启发？

Sam >我强烈不建议任何想要先作为一个非盈利组织起步，之后再加入盈利性分支的创业公司这么做。我真的非常不推荐这种方式。我觉得我们这里也不会创造这样一个先例。

如果我们知道会发生什么，我们肯定也会那么做的。

Lex Fridman

嗯，理论上来说，如果你在这里的舞跳得够美，或许能享受到一些税收优惠之类的东西，但是……

Sam >我觉得大部分人对这些事情的看法不是这样的。

Lex Fridman

如果你这样做，创业公司根本不可能省下一大笔钱。

Sam >不，我觉得有些法律会让这件事变得相当棘手。

Lex Fridman

你期望与 Elon 之间的关系如何发展？这种紧张、这场对峙，你希望它会怎样？假如从现在起向前看1、2、3年，你和他在私人层面上的关系——像是友情、友好竞争，以及所有这些互动。

Sam >是的，我非常尊敬 Elon，我希望在未来的岁月里，我们能保持一段友好的关系。

Lex Fridman

是的，我希望你们这个月能够保持友好的关系，一起在竞争中取得胜利，共同探讨这些有趣的理念。我猜会有些关于人才或其他方面的竞争吧，但关键是要保持友好竞争的氛围。就去创造一些酷炫的东西吧。埃隆在这方面确实很在行，你也不赖。

Sora

Lex Fridman

讲到厉害的玩意儿，Sora 真的很吸引人。我有一百万个问题想问你。首先，它的确令人称奇，无论是在产品层次上，还是在哲学层次上。那么我就从技术/哲学的角度来提问吧，你认为它比如说相比于 GPT-4，在理解世界这方面是更胜一筹还是稍逊一筹呢？在训练这些补丁时，它对世界模型的理解与仅仅基于语言标记有什么不同吗？

Sam >我觉得这些模型对世界模型的理解，实际上比我们多数人给予的认可要深。因为它们对某些事情的理解是如此的清晰明了，它们对其他事情的无知或错误就显得尤为突出，人们很容易一眼看穿它们的不足，然后说：“啊，这全是假的。” 但实际上并非全是假象。有些部分是有效的，有些部分则不然。

我还记得第一次看 Sora 视频时的情景，你会看到有人走过来，挡住画面几秒钟后又走开，而被遮挡的东西依旧在那儿。我当时就想，“噢，这效果挺不错的。”或者，有时候，你能看到它展现出一系列动作中物理规律的那种精准，真的让人印象深刻。但说到底，这些模型只会越来越强大，这种进步还会继续。如果你关注一下从 DALL·E 1 到 2 再到 3，再到 Sora 的发展轨迹，会发现有很多人在每一个版本上都曾嘲讽，说它做不到这个，做不到那个，但现在看看它的表现吧。

Lex Fridman

嗯，你刚才提到的遮挡问题，其实就是要对世界的三维物理现象建模，而且要做得足够好，才能捕捉到这类情况。

Sam >嗯……

Lex Fridman

你可以跟我说说，为了应对遮挡问题，世界模型需要做什么呢？

Sam >我想说的是，它在处理遮挡方面表现得相当出色。而说它背后有一个很强大的三维世界模型，这个说法就有些牵强了。

Lex Fridman

但你觉得仅凭这些二维训练数据的方式就能达到那个目标吗？

Sam >看起来这种方法能出乎意料地走得很远。我不太想去猜测它能克服哪些限制，哪些又不能，不过……

Lex Fridman

你发现了系统的哪些有趣局限性？我的意思是，你分享过一些挺有趣的例子。

Sam >有各种各样的有趣现象。比如，视频中的猫咪在任意位置突然长出一条额外的肢体。你可以随意挑选，但现在仍然存在许多问题，有很多弱点。

Lex Fridman

你觉得这是这种方法根本上的缺陷呢，还是说只要有更大的模型、更细致的技术处理或者更高质量、更多量的数据，就能解决“猫发芽”这类问题？

Sam >我对这两点都持肯定态度。我认为这种方法给人的感觉与我们通常的思考和学习方式大相径庭。同时，我也相信随着规模的增加，它的效果会进一步提升。

Lex Fridman

就像我提到的，LLMS 有 token，文本 token，而 Sora 则有视觉 patch。它把所有的视觉数据，包括各种不同的视频和图片，都转换成了 patch。训练过程可以说完全是自监督的吗？还是会涉及到一些手动标注的工作？在整个过程中，人的参与程度是怎样的？

Sam >我是说，不详细谈论 Sora 的方法，我们的工作就已经利用了大量的人类数据。

Lex Fridman

但不是互联网级别的数据量吗？这就意味着需要大量的人力。Sam，"大量"这个词可不简单。

Sam >我觉得在这种情况下用“很多”这个词挺合适的。

Lex Fridman

因为对我来说，“很多”嘛……你听我说，我是个内向的人，要是和三个人一起出去，对我来说人就已经够多的了。要是四个人，那简直就是超负荷了。不过我猜你指的“很多”可能是比这……

Sam >对，确实是有不止三个人在给这些模型做数据标注工作。

Lex Fridman

好的，对。但归根到底，有大量的自监督学习。就像你在技术报告里提到的，我们处理的是互联网规模的数据。这实在太美妙了……它就像诗。也就是说，这些数据并非由人工标注，可以认为是以这种方式自监督的吗？

Sam >嗯，对。

Lex Fridman

然后问题在于，互联网上到底有多少数据可以用于这种自我监督学习的方式，只要我们能弄清楚自我监督的具体细节。你有没有考虑过，更进一步公开这些细节？

Sam >我们有的。你是特指信息的来源吗？

Lex Fridman

出处特别指出。因为很有趣，那些让语言模型如此神奇的元素现在能否开始转向视觉数据呢？而这一过程需要怎么做呢？

Sam >我感觉是这样没错，不过我们还得加把劲，干更多的活儿。

Lex Fridman

当你这么问的时候，是在担心些什么呢？为什么会对发布这个系统感到忧虑？可能会有哪些潜在危险？

Sam >我是说，坦白讲，在发布系统之前，我们必须确保它的效率达到人们期望的规模，这样才能确保系统能够正常工作，这一点我不想轻描淡写。在这方面还有大量的工作需要完成。但你可以想象到，像深度伪造、错误信息这样的问题。我们试图作为一家深思熟虑的公司去思考我们推向世界的产品，你不用费太多心思就能想到这些事情可能怎么走向不好的方向。

Lex Fridman

在这里我们面临很多棘手的问题，你所处的领域非常艰难。你觉得按照版权法，训练人工智能算不算公平使用呢？

Sam >我觉得这个问题的底层问题是，创造有价值数据的人们是否应该得到某种形式的经济补偿，因为他们的数据被利用了。我认为答案是肯定的。我目前还不清楚具体的解决方案是什么。人们提出了各种各样的点子，我们也尝试过一些不同的模式。但打个比方，如果我是一位艺术家，A，我会希望有选项可以让别人不使用我的风格来创作艺术作品。而且，B，如果别人确实用了我的风格来创作，我希望这背后能有一套经济模式来确保我的利益得到体现。

Lex Fridman

是的，就像是从 CD 到 Napster，再到 Spotify 的那种转变。我们得找出一种可行的模式。

Sam >模型会变，但人们得拿到钱。

Lex Fridman

好吧，如果我们把视角再拉得更远一些，应该有某种动力激励人类继续去做那些牛逼的事儿。

Sam >在我所担心的一切中，我相信人类会创造出非常酷的东西，并且社会终将以某种方式来奖励这些创造。这似乎已经深植于我们的本性之中。我们渴望创造，我们渴望证明自己的价值，我们希望以各种方式来获取认同和地位。我认为，这些特质是不会消逝的。

Lex Fridman

但回报可能不是金钱上的利益，而可能是名望或是对其它酷事的认可和赞誉。

Sam >也许在金融方面还有其他方式。我再次强调，我认为我们还未见到经济系统发展的最终模式。

Lex Fridman

是的，不过艺术家和创作者们都挺担心的。当他们看到 Sora，他们就会惊呼，“我的天哪。”

Sam >艺术家们在摄影问世的时候也是非常忧心忡忡的，后来摄影却演变成了一种全新的艺术形式，有人通过摄影赚到了大钱。我相信类似的事情还会不断上演。人们会不断地用新工具探索新的创作方式。

Lex Fridman

如果我们只是随便在 YouTube 或者类似的平台上搜一搜，你觉得在接下来的五年里，会有多少内容是由类似 Sora 这样的 AI 生成的呢？

Sam >人们总是在讨论，五年内人工智能会取代多少工作岗位。他们的出发点通常是，目前的工作中有多大比例会完全被人工智能所替代？但我个人的看法并不是围绕人工智能会做多少份工作，而是在未来某个时间点，它们能执行多少种任务。

想一想，经济活动中的每五秒钟、五分钟、五小时乃至五天的任务，有多少是人工智能可以完成的？我认为，这个问题比单纯问人工智能能取代多少工作要更加有意义、影响深远和重要。

因为人工智能是一个工具，它将在不断延长的时间跨度内、以越来越高的复杂度来执行越来越多的任务，这让人类能够在更高层次上进行抽象思考。也就是说，人们在自己的工作中可能会变得更加高效。而这种变化，随着时间的推移，不仅仅是量的改变，它还意味着质的变化——我们能在脑海中构思何种问题。对于 YouTube 上的视频，我觉得情况也是如此。很多视频，或许是大多数视频，在制作过程中会运用到人工智能工具，但它们的核心仍然是由人来思考、构思、负责部分执行，并指导整个项目的运作。

Lex Fridman

是的，这真的非常有趣。我是说，这确实有点吓人，但去想象这一点真的很吸引人。我倾向于认为，人类喜欢观察其他人类或者说其他有人性的生物——

Sam >人们真的很在乎彼此。

Lex Fridman

是的，如果出现了比人类还酷、还厉害的东西，人们可能会关注两天，但之后他们又会回归去关心人类的事务。

Sam >这看起来似乎是根深蒂固的。

Lex Fridman

这就是围绕棋局的整个问题，“哦，是的”，但现在我们还是得继续下棋。咱们得视而不见那个摆在眼前的事实：比起人工智能系统，人类下棋实在是太菜了。

Sam >我们还是会开赛车，而且现在的车速比以前快多了。我的意思是这样的例子有很多。

Lex Fridman

是的，或许它就类似于 Adobe 套件里的一种工具，能够大大简化视频制作这些流程。

听着，我真的不喜欢站在镜头前。如果我能想出一个办法避免露面，我会非常乐意的。不过不幸的是，这可能还需要一段时间。现在我们正在研究生成面部图像的技术，虽然进展顺利，但要在视频中生成特定人物而非通用面孔，这个过程还是挺棘手的。

GPT-4

Lex Fridman

让我来问问你 GPT-4 的事情。问题真的好多。首先，它同样令人惊叹。回头看，GPT-3、GPT-5 和 GPT-4 这几个版本很可能会被认为是历史性的转折点，这些版本塑造了 ChatGPT。

Sam >可能第五次会成为转折点。我不确定。往前看，这真的很难说。

Lex Fridman

我们永远也预测不了。这就是关于未来最让人头疼的事，太难以预测了。但是对我个人而言，回顾历史，GPT-4 和 ChatGPT 实在是太让人震惊了，它们在历史上都留下了深刻的烙印。那么，请允许我问你，你认为 GPT-4 和 GPT-4 Turbo 最令人印象深刻的能力有哪些？

Sam >我觉得这挺糟心的。

Lex Fridman

人呐，也是这样，很快就会习惯一件棒极了的东西。

Sam >不，我认为这确实是一件非凡的事情，但与我们所要实现的目标和我坚信我们最终能够达成的境界相比，在 GPT-3 面世那会儿，人们都说：“哦，这太令人惊叹了，简直是技术的奇迹。”的确，当时它非常了不起。但现在出现了 GPT-4，再回头看看 GPT-3，你就会觉得：“天哪，这简直糟糕透了。”我预计 GPT-5 和 GPT-4 之间的差距将和 GPT-4 与 GPT-3 的差距一样大。

我们的职责就是要有领先的视野，记得我们现在拥有的工具回头看来可能会显得相当逊色，正是这种认知驱使我们确保未来变得更加美好。

Lex Fridman

GPT-4 在哪些方面最让人失望？我的意思是——

Sam >它最擅长做些什么呢？

Lex Fridman

它能做到的最棒的事情是什么呢？而这些事情的局限性又在哪里，让你会觉得它很差，因此又让你对未来充满了启迪和期望呢？

Sam >我最近更多地把它当作一种头脑风暴的搭档。

Lex Fridman

是的。

Sam >它有一丝令人震惊的神奇。当人们谈起它的作用时，他们会说：“哦，它帮我提高了编程效率。它让我的写作速度更快、质量更好。它能帮我将一种语言转换成另一种。”所有这些都令人称奇，但它在创意头脑风暴方面的表现——比如，“我得给这个东西取个名字。我需要换个角度思考这个问题。我不确定接下来该怎么办”——我认为这展现了一丝令我期待已久的东西，希望将来能看到更多这样的场景。

你能略见一斑的是，当我帮助处理一些长远的任务，把它们拆解成多个步骤，然后执行其中几个，或许是上网搜索资料，或是编程之类的活儿。这个过程要是能成功，虽然并不常见，但确实感觉挺神奇的。

Lex Fridman

与人不断地来回交流，对我来说非常有帮助。你指的是什么-

Sam >经过不断的反复与人类沟通，当它能够独立完成一个包含 10 个步骤的问题时，这样的互动就会变得更加密集。

Lex Fridman

哦。

Sam >这通常不太常见，偶尔会有。

Lex Fridman

增加多层次的抽象，还是你的意思只是依次进行的？

Sam >两者都很重要，既要把问题分解，也要在不同的抽象层面上进行思考，然后将这些思考重新组合起来。你看，我并不是想小看 GPT-4 所取得的成就，但同时我也不想过分夸大其重要性。我认为，我们正处于一个指数增长的曲线上，不久之后，我们会像现在回望 GPT-3 一样去回顾 GPT-4。

Lex Fridman

这么说吧，我是说 ChatGPT 成了一个转折点，外界开始逐渐相信 OpenAI 内部已经有了一种信念的高涨。

Sam >当然可以。

Lex Fridman

或许这儿有些信徒，但是当你想起——

Sam >在这方面，我真的觉得这将是一个转折点，让全世界许多人从怀疑变成了信服。这更多的是和 ChatGPT 的界面有关。说到界面和产品，我的意思还包括了模型的后续训练过程，以及我们如何调优使它对你更有帮助，以及怎样使用它，而不只是底层模型本身。

Lex Fridman

这些因素中每一个到底有多重要呢？无论是底层模型还是 RLHF，又或者是其他的什么机制，它们都在调优过程中起着关键作用，让这个系统对于人类来说更具吸引力，使用起来更高效、更富有成效。

Sam >我是说，它们都极为重要。但是 RLHF，也就是训练后的那个步骤，我们在基础模型之上进行的那些额外工作——尽管这背后需要巨大的工作量——却是至关重要的，更不用提我们围绕它打造的产品了。在某种意义上来说，我们的确需要同时做好两件事情：一是发明底层技术，二是搞清楚如何把它转化成人们爱不释手的产品。这不仅仅关乎产品本身的实际工作，还涉及到一个完全不同的阶段——怎样让产品与用户的需求保持一致，并真正发挥出它的用途。

Lex Fridman

你是如何做到让众多用户能够同时使用这项技术的规模化效应。所有这些方面，都得仔细斟酌。

Sam >这个嘛，但那确实是个大家都知道的难题。我们明白我们必须要扩大它的规模。我们得完成两项前所未有的任务，我得说这两个任务都是非常了不起的成就，之后还有很多像规模扩大这样其他公司之前也经历过的挑战。

Lex Fridman

在 GPT-4 和 GPT-4 Turbo 之间，将上下文窗口从 8K 令牌增加到 128K 令牌，会有什么样的区别呢？

Sam >大部分情况下，人们并不总是需要128这么长的上下文。虽然若我们将目光投向遥远的未来，我们可能会有几十亿的上下文长度。你可以输入你所有的信息，你的整个历史记录，它将逐渐更深入地了解你，那会非常棒。但是就目前的情况来看，人们使用这些模型的方式并不是这样的。有时候，人们可能会在一篇论文中贴上大量的代码库，不过，大多数时候模型的使用并不涉及长时间的上下文。

Lex Fridman

我喜欢这种感觉，就像是你的 “我有一个梦想” 演说。有朝一日，你会被依据你性格的全貌或是你一生的总体来评价。这很有意思。那么，你所期望的扩展的一部分，就是一个越来越全面的背景环境了。

Sam >我记得看过一段网络视频，数字可能记错了，但是内容大致是比尔·盖茨在谈论一款早期电脑的内存容量，可能是 64K，也许是 640K 之类的。那时候，大多数内存都被用作屏幕的缓冲区。他当时似乎无法真正理解，为什么未来的世界会需要计算机有几个 GB 甚至 TB 的内存。不过实际上，你总是要跟上技术发展的指数级曲线，我们总会找出利用更先进技术的方法。所以，我现在真的很难想象，未来有一天，上下文链接扩散到十亿设备的情景会是怎样的。它们可能不会真的达到那个数字，但在效果上可能会有那种感觉。不过我知道，一旦我们拥有了这种技术，就绝不会想要回到没有它的日子。

Lex Fridman

是的，即便是现在说十年后可能是数十亿的规模，也可能显得很愚蠢，因为到那时它可能已经达到了数以万亿计的规模。

Sam >当然

Lex Fridman

将会出现一些使人感觉像是拥有无限上下文的突破性进展。不过即便是 120 字符，老实讲，我也没尝试过把它推到那个极限。可能的用例包括输入整本书或书的某些部分，比如论文之类的。你见过 GPT-4 有哪些有趣的应用场景吗？

Sam >我最感兴趣的不是任何我们可以讨论的具体应用案例，而是那些将其作为任何知识工作任务的默认起点的人，特别是年轻人。令人瞩目的是它在很多方面都能做得相当不错。你可以使用 GPT-V 来帮助你编写代码，进行搜索，或者编辑论文。对我来说，最有意思的是那些直接以此为他们工作流程开端的人。

Lex Fridman

我对很多事情也有同样的兴趣。我用它作为读书的伙伴，它帮助我思考，尤其是当我阅读那些经典名著的时候。这方面，它写得真的很出色。我发现它在讨论那些资料丰富的话题时通常比维基百科还要好。它某种程度上更加均衡、更具细节。或许这只是我的个人感受，但它激发我进行比阅读维基百科条目更深层次的思考。我不完全确定为什么会这样。

你刚才提到了这种协作。我不确定魔法究竟在哪里——是在这儿、在那儿，还是在中间某处。这一点我还真不敢确定。但有个问题一直让我担心，那就是当我开始用 GPT 处理知识性任务时，我通常得事后去核实事实，比如检查它有没有编造一些假消息。你是怎么发现 GPT 能编出那些听起来特别有说服力的假信息的呢？你又是如何确保它所提供的信息是真实的？

Sam >这显然是我们极其关注的一个领域。我觉得随着即将推出的新版本，情况会有很大的改善，但我们仍需持续努力，今年是不可能完全解决所有问题的。

Lex Fridman

确实可怕，因为随着技术越来越好，我们越发不去做事实核对了，对吧？

Sam >我在这个问题上有点矛盾。我觉得人们使用技术的能力，其实比我们通常认为的要高明多了。

人们似乎已经真正理解了 GPT，还有这些模型有时候会出现错误信息。如果是关乎重大任务的事情，你就必须得核实一下。

Lex Fridman

除此之外，记者们好像并没有意识到这点。我看到有些记者只是敷衍了事地用GPT-4。这个-

Sam >我有好长一串想要吐槽记者的事，但这个问题并不排在我的批评名单之首。

Lex Fridman

嗯，我认为更大的批评可能是记者所面临的压力和激励机制，这使得他们不得不工作得非常迅速，而采用这种方法无疑是捷径。我真心希望我们的社会能够鼓励像……

Sam >我也是。

Lex Fridman

……像是那些需要数天乃至数周辛勤努力才能产出的深度新闻报道。还有，有些报道以一种平衡的方式来呈现新闻，它们在批评的同时也能够赞扬他人，虽然通常都是那些批评性质的内容吸引点击。而捏造事实、标题党也能轻易地获得点击量。我敢肯定，一定有不少人讽刺地说：“嗯，所有那些充满戏剧性的东西肯定带来了大量点击。”

Sam >可能吧。

记忆与隐私

Lex Fridman

这是关于人类文明的一个宏观问题，我非常想要探讨一下。这正是我们应该更多地去庆祝的领域。你给 ChatGPT 赋予了拥有记忆的能力，你一直在尝试处理它与过往对话的记忆问题。同时，你还让它能够关闭记忆功能。有时候我真希望我也能做到这一点——根据需要打开或关闭记忆。我猜有时酒精似乎能起到这个效果，不过我觉得它并不是最理想的方法。你在这方面有什么发现吗？比如尝试记住对话或者选择不记住这种想法的时候。

Sam >我们目前在这个领域的探索还只是刚刚开始，但我觉得人们想要的，至少我个人想要的，是一个能够逐渐认识我并且随着时间的推移越来越有帮助的模型。这还仅仅是个起点。我认为我们还有很多其他的事情需要去做，但这正是我们想要追求的目标。你会期望使用一个模型，在你的一生中或是在你使用一个系统的过程中，它可能包含了多个模型，它们会随着时间的积累变得越来越优秀。

Lex Fridman

是啊，解决这个问题有多困难？因为目前为止它更多的是记住一些琐碎的小知识点和个人喜好等等。但是关于记忆这块怎么样呢？你难道不希望 GPT 能记得你在十一月里经历的所有麻烦和所有的那些波折，然后你就可以——

Sam >嗯，对，对。

Lex Fridman

因为现在你显然有些在回避它。

Sam >我不仅仅希望它记得这些东西，我还想要它能整合这些经验教训，并且在将来提醒我应该如何不同地行动，或者有什么需要留意的地方。我们每个人的一生中，都在不同程度上从经验中受益，我希望我的 AI 代理也能跟随这样的经验成长。想象一下，如果我们回溯并且假设有数万亿的上下文长度可供利用，如果我能把我这一生中与任何人的每一次对话都放进去，把所有的邮件往来都输入输出进上下文窗口，每当我提出问题时都能调用这些信息，那将是非常酷的一件事。

Lex Fridman

是的，我觉得那会非常酷。不过有时候，当人们听说这个想法时，会对隐私感到担忧。你怎么看待这个问题？随着 AI 变得更加强大，它确实需要整合你所有的经历和数据才能给出建议。

Sam >我觉得答案很简单，就是给用户选择的权力。任何我想从我的 AI 代理那里删除的记录，我都希望能够自由删掉。如果我不想记得什么事情，我也应该可以选择忘记。在我们自己的 AI 的隐私与效用之间的权衡问题上，你和我可能有各自不同的见解。

Sam >…对于 OpenAI 在隐私与实用性之间如何权衡，大家有不同的意见，这是很正常的。但我觉得解决方法很直接，就是让用户来做选择。

Lex Fridman

但公司应该对用户的选择有较高程度的透明度。因为以往有些公司在收集用户数据时态度含糊其辞，好像默许自己可以搜集所有数据似的，他们会说：“嗯，我们收集你的所有数据是理所当然的。我们用这些数据来做广告等，都是出于好意。” 但他们对这些细节并不透明。

Sam >这绝对没错。你刚才提到，我在刻意回避那些 11 月发生的事。

Lex Fridman

只是逗你玩。

Sam >嗯，我的意思是，我经历了一件极其创伤的事，这件事确实使我长时间无法动弹。在那段艰难的时光里，最难的工作就是要坚持不懈地继续下去，因为我必须在处于震惊和疼痛中的时候回到这里，努力把事情的碎片一点点拼凑起来，而那时候似乎没有人真正关心。

我的团队确实给了我一些宽容，我也没有发挥出我平时的工作水平。但确实有那么一段时间，要同时处理这两件事真的很困难。不过，有一天早上我醒来，想到：“这确实是我遭遇的一件恐怖的事情。我可以选择永远把自己视为受害者，或者我可以告诉自己这是我一生中触及的最重要的工作，我必须回过神来继续它。”这并不意味着我在压抑自己的感受，因为有时候我会在半夜醒来，脑海里依旧会回想起那些事情，但我确实感到我有义务要持续向前走。

Lex Fridman

这么说真是妙不可言，不过可能还有些隐性的问题存在。我比较担心的是你提到的那种信任问题，担心人们变得过于多疑，而不是天真地信任每一个人或者大部分人，凭借直觉去判断。这确实是一场复杂微妙的平衡之舞。

Sam >当然可以。

Lex Fridman

我的意思是，我在兼职时做了一些深入探究，特别是研究了泽连斯基政府和普京政府，以及他们在战时高压环境下的种种互动。结果就是彼此之间产生了不信任，大家都开始孤立自己，对世界的看法也变得不清晰了。这是所有人都会关心的问题。你看上去似乎游刃有余，从中吸取了宝贵的教训，感受到爱，并让这份爱激励着你，这很了不起，不过这种感觉可能还会残留心间。我有一些问题想问问你，关于你直觉上认为 GPT 能做什么、不能做什么。GPT 在生成每个 token 时，似乎会分配大约相同的计算资源。那么，在这种方式中，是否有空间给予更缓慢、更连贯的思考呢？

Sam >我觉得会有一种新的思考模式出现。

Lex Fridman

它在架构上会和我们目前看到的 LLMs 相似吗？它是不是在 LLMs 基础上增加的一层？

Sam >我能想象出不少实施这个想法的方法。不过，我认为那并不像你想要探讨的问题那么重要。你的问题是，我们是否需要一种较慢的思考模式，这种模式下，答案不需要那么迅速地得出……可以这么说，从一种精神层面上讲，你希望一个人工智能能够在面对更复杂的问题时投入更多思考，而在遇到简单问题时则能够更快地给出答案。我觉得这点很关键。

Lex Fridman

这是不是人类的一个常有的想法，我们就应该去努力思考？这种直觉是不是有误呢？

Sam >我觉得这个直觉挺有道理的。

Lex Fridman

有趣。那么，一旦 GPT 升级到比如 GPT-7 这样的级别，它就能瞬间找出“费马定理的证明”了是吗？

Sam >你好像是想能为那些更难的问题分配更多的计算能力。我想，如果你问这样一个系统，“证明一下费马大定理”，和问“今天是什么日期？”相比，除非它已经知道并且记住了证明的答案，要不然它得自己去琢磨出来，这看起来肯定是需要更多计算资源的。

Lex Fridman

但它能不能看起来基本上就像一个 LLM 在自言自语，是那种感觉？

Sam >或许吧。我的意思是，你能想象出很多可能有效的事情。但关于怎么做才是最合适或者最好的方式，我们目前还不清楚。

GPT-5