OpenAI CEO 详解 GPT-4与AI的未来
#67 OpenAI CEO 详解 GPT-4与AI的未来（播客笔记）https://imgs.zhubai.love/a869ca4cf80f4d82bc32e3d6afb5f2ce.jpg富于理性by不二·16 小时前
3月20日，OpenAI CEO Sam Altman 和科技主播 Lex Fridman 进行对谈，主要讨论 GPT-4、通用人工智能（AGI）、 OpenAI 公司、AI 带来的潜在问题，以及 AI 的未来。我总结了对话中最启发我的部分，约 3000字。受限于精力与认知，笔记中难免有谬误，敬请指正。https://imgs.zhubai.love/f81626bc79e9444f917b8e555050396d_2076275059848916992.png图片加载中
总体来说，Sam Altman 认为，GPT-4 等 AI 系统并非少数人的成果，而是源于无数人的共同努力，是人类智慧的结晶，成果也应当由人类共享。人们如何使用 GPT？Sam 的内部视角
[*]从 ChatGPT 总体使用情况来看，用户大部分时候都是善意的，但不是所有人、所有时候都是善意的。人们也会在系统的边缘试探，试图挖掘黑暗的部分。
GPT-4 乐观展望
[*]使用 GPT 类工具的幸福感很强，帮你达成 10 倍生产力。
[*]新世界里，AI 是人类意志的延伸，是我们能力的放大器。
[*]人们的生活水平会提高非常多，我们将在生活水平极高的新世界中寻找新的存在方式
GPT-4 等AI有哪些待解决的问题？
[*]AI 的偏见
[*]主持人拿 ChatGPT 偏好拜登>特朗普的问题提问，比如，用同样的提问让 ChatGPT 夸拜登、夸特朗普，夸拜登的句子比夸特朗普的长。sam 回应，小问题即大问题，之所以会早早公开发布，就是为了发现这类问题。会不断改进。（他也说， 8 岁时不可能想到，自己能造出 AI，而且造出 AI 后，人们在纠结这类「夸谁夸得长」问题。）
[*]Sam 说 ChatGPT 总会有偏见，世界上不会有一个人认为 GPT 是无偏的。但是，在明显的偏见问题上，GPT 4 已经比 GPT 3.5 有了很多进步。
[*]AI 快速起飞（take off）带来的冲击。
[*]快速起飞指技术可能在短时间内实现爆发式增长。如果 AI 的take-off 无法避免，以下四种情境，哪种对社会来说最安全？（括号中为举例）：
[*]短期内开始（明年）、快速实现（3年）
[*]长期才开始（20年后）、快速实现（3年）
[*]短期内开始（明年）、慢慢实现（10年）
[*]长期才开始（20年后）、慢慢实现（10年）
[*]Sam 偏好短期内就开始、慢慢实现的情境，也朝着这个方向优化。
[*]岗位减少
[*]Sam 认为社会对「想要更多工作」或「更少工作」的态度有些模糊。
[*]一方面，即使是不喜欢工作的人，也觉得需要一份工作，让自己安身立命
[*]另一方面，当法国试图提高退休年龄，阻力很大，人们认为这非常可怕。
[*]他觉得，未来会有更多人从事「更好」的工作。工作会成为更宽泛的概念，不止于为了吃饭而必须做的事情，而包括创造性的表达，包括找到成就感和幸福的方式，
[*]在过渡阶段，重点需要放在消除贫困上。OpenAI 在做实验，如 world coin 项目，如「全民基本收入」（UBI）实验。UBI 实验将会在今年做完，结果预计于明年公布。（不知道结果是不是不太理想，Sam 的口风很紧。）
[*]人们围绕 AI 的另一些恐惧可能不会成为现实
[*]人类天生惧怕改变、惧怕不确定性；也会因为工具过于好用而害怕。
[*]Sam 指出，AI 非常强大后，仍然不能代替人。数十年前，AI 就在国际象棋中赢了人类冠军，但是今天仍然有很多人在玩国际象棋。人们也愿意看真人下象棋，而不是两个 AI 下象棋。
[*]人们仍然喜欢戏剧性，喜欢我们有而 AI 没有的那些缺陷。
如何解决这些问题？
[*]Sam 说，自己所知道的唯一解决方式，就是不断迭代，尽早学习，尽量避免「只有一次机会、必须做对」的情境。
[*]当前解决路径：让外界尽早接触这些技术，让（公众）得以塑造 AI 发展的方式，帮助 OpenAI 发现什么好、什么不好。每次他们发布新模型时，外部世界的集体智慧和能力都帮助OpenAI 发现他们无法想象的东西，包括模型所能做到的伟大的事情，和公司必须解决的真正弱点。
[*]Sam 计划全球巡回，做用户访谈，来了解不同用户的需求与感受。
[*]一方面，因为他知道，自己的生活与大多数普通让的生活是脱节的，他想在酒吧里面对面和用户聊一聊，GPT 对他们的影响。
[*]另一方面，他认为 OpenAI 公司在避免落入旧金山疯狂氛围方面比其他公司做得更好，但仍然深陷其中。需要主动戳破这个「泡泡」
[*]未来解决路径：给用户控制权，让用户能从全局层面给 AI 下指令（System message），比如让它始终扮演某个角色（如莎士比亚）
GPT-4 是通用人工智能（AGI） 吗？
[*]Sam 说暂且不纠结具体定义，只从“I know it when I see it” 的角度思考，如果一本科幻小说里有个角色是 AGI，而这个角色是 GPT-4，他会觉得这本书很糟糕。所以前面还有很长的路。
[*]Sam 认为，不能大大增加人类科学知识总和的系统，不能发现、发明，推动基础科学的智能，都不是超级智能。要做到这一点，人们还需要在相当重要的方面扩大GPT范式，而目前还缺少这方面的想法、不知道有什么值得尝试。
[*]Sam 对未来 AI 的期许是：解释所有物理现象，解决所有未解之谜。
如何判断AI发展出了意识？
[*]启发式测试01：Sam 喜欢公司首席科学家 Ilya Sutskever 提出的一个标准。
[*]如果你训练模型时，对数据集做非常精心的设定，确保在训练过程中 AI 不接触到「意识」、主观体验，或任何与之相近的东西。
[*]然后你开始和这个模型讨论，「这里有一些你没有接受过训练的东西」。
[*]如果，对于你说的大部分内容，模型都说「我不知道你在说什么」，但当你描述意识的主观体验，模型立即回应，「是的，我完全知道你在说什么。」那可能意味着观点要更新（AI 可能发展出了意识）。
[*]启发式测试02：
[*]Lex 提到，《机械姬》最后，当片中的 AI 机器人机械姬逃出实验室，她有一个开心的微笑。此时没有别人在场，她是为自己而笑、为自由而笑。
[*]《机械姬》的导演认为，「为自己而笑」，可以作为一个「AI 是否有意识」的图灵测试。
OpenAI 为何这么强？
[*]做事的态度是探求真理（truth seeking），做一切能达成最优表现的事，不管它是否优雅。就像 LLM（大语言模型）这个路线曾经饱受鄙夷，但他们还是坚持下来。
[*]Sam 说 GPT-4 是人类迄今所实现的最复杂的软件。
[*]OpenAI实现 GPT-4，依靠基础模型的技术进步。并不是搞定 3-5 件重要的事，而是搞定大量复杂的小事，积小胜为大胜，乘法效应让飞跃得以实现。具体如数据获取、清洁、训练、优化和搭结构。
[*]团队推出产品的能力为何这么强？
[*]要组建优秀的团队，需要提高招聘的优先级。如今，Sam Altman 仍然亲自批准OpenAI的每一个招聘决定。
[*]为了实现高速发展，OpenAI团队给予成员信任和自主权。
[*]OpenAI的工作目标吸引了许多优秀的人才。团队成员对 GPT-4 等项目充满热情，努力合作。
未来的 AI，与OpenAI 与其他公司的竞争
[*]未来可能会有多个 AGI（人工通用智能）存在，这意味着 OpenAI 不需要战胜所有竞争对手。多个 AGI 可以在不同的领域和应用上发挥作用，这是一种有益的现象。
[*]OpenAI 作为一个非常规组织，没有无限逐利的动力，因此能够更好地抵抗市场压力。具体而言，OpenAI 建立时定位为非营利组织，但这种背景下没有足够的资金来完成任务。因此，他们转变为「盈利有上限」的组织，来获得资本主义的某些加成，同时不完全导向逐利。如今由于 OpenAI 的特殊结构，它没有捕获无限价值的激励，这使得他们更能抵抗市场压力。然而，他仍然担心那些有此激励的公司。
[*]之后，OpenAI 不执着于卷模型参数大小（Parameter count race），最看重如何实现最佳性能。
[*]在面对市场压力和其他公司的竞争时，Sam 强调坚持信念和使命。虽然竞争对手可能会在某些方面领先，但 OpenAI 不会为了追赶而放弃安全性。
工具与人，谁负责任？
[*]OpenAI认为，他们对自己发布的工具负有责任。需要负责的是人，而非工具。
[*]该工具会带来好处和弊端，OpenAI的目标是尽量减少弊端，最大限度地发挥好处。
[*]保护 GPT-4 不被黑客攻击或越狱是一个挑战。（当年 Sam 在初代 Iphone 上越狱，觉得这很酷，如今他发现自己站到了另一边。）
大佬之间
[*]Sam 说，自己和 Musk 都认为，关于 AGI 存在巨大风险。这既指需要确保安全性，也指需要让人们的生活因为 AGI 的存在而更好，而非更差。他对 Musk 现在的攻击淡然处之。
[*]Sam 盛赞微软 CEO 纳德拉，既是伟大的领导者，又是伟大的经理人；既有远见卓识、能设定战略，又平易近人、有同理心。
花边我看了对谈视频，感觉 Sam Altman 全程情绪平稳，恍若 AI。无论是谈到当年 OpenAI 被嘲笑、现在嘲笑变少了（真谦虚），还是谈到面对的各方压力、要解决的种种问题，他都平铺直叙、不动如山。只有两次，明显感觉到他兴奋起来。而这两次，恰好都是聊到AGI 有潜力帮助实现科学突破。这，就是 Geek。
强烈推荐一个 AI 主题英文播客https://eye-on.ai/podcast-archive
，Eye on AI。主持人Craig是纽时多年资深记者，现美国国家人工智能安全委员会（NSCAI）特别雇员。
最新一期嘉宾 ILYA SUTSKEVER (openAI 首席科学家+ChatGPT之父），访谈质量非常之高。
这个AI播客经营了5年，早早领先于这波热潮，还有一份双周 research newsletter。 1/3
Eye on AI 访谈过的嘉宾除了 深度学习三巨头里的Geoff Hiton和杨立昆。 «计算机体系架构»作者、图灵奖得主和 TPU开创者 David Patterson， 还有大量一线AI研究者和相关领域学者，涉及了AI会影响的当下及未来的方方面面。
所有播客都能下载文字版本，原文困难的同学用GPT翻译下，学英语的好材料。 2/3
另外我想推荐一个中文公众号OneFlow，链接是他们经授权后翻译的 Eye on AI 跟 ILYA SUTSKEVER 的对谈。虽然 OneFlow是中国一家做ML框架和实训社区的纯技术公司，我也是意外发现他们的媒体团队应该是中文自媒体里采编译水平最高的，无论内容源还是翻译质量，技术方面也很过硬
https://mp.weixin.qq.com/s/rZBEDlxFVsVXoL5YUVU3XQ
https://eye-on.ai/podcast-archive
页:
[1]