AMA:2025年及以后的人工智能

在本次 AMA 中,Sahara AI 的首席执行官兼联合创始人 Sean Ren 和 Anthropic 的 Rohan Taori 回顾了今年最大的 AI 突破,并分享了他们对 2025 年行业走向的看法。从新兴趋势到 AI 代理的未来,他们分析了下一步将如何发展以及这对 AI 领域意味着什么。

完整录音链接:https://x.com/i/spaces/1yNGagBaPZVxj

乔尔斯·巴拉根 (04:11)
大家好!欢迎参加我们的第一次 AMA,“2025 年及以后的人工智能。” 我是来自 Sahara AI 的乔尔斯,今天将担任你们的主持人。我们非常高兴能邀请到两位了不起的嘉宾:

  1. Sean Ren – Sahara AI 的首席执行官兼联合创始人。他还是南加州大学计算机科学的副教授,领导着智能和知识发现研究实验室。

  2. Rohan Taori – Anthropic 的技术团队成员。如果你还没听说过 Anthropic,他们是一个领先的 AI 安全与研究组织,构建了非常著名的 Claude AI。他还获得了斯坦福人工智能实验室的博士学位。

欢迎 Sean 和 Rohan!

Sean Ren (05:10)
很高兴来到这里。

Rohan Taori (05:12)
是的,谢谢你的主持,乔尔斯。很高兴能来这里。

乔尔斯·巴拉根 (05:15)
感谢你们两位的参与!我们有一个激动人心的议程:我们将讨论今年的 AI 突破,什么才算是“伟大的 AI”,以及对未来的预测。在深入探讨之前,快速提醒一下:我们将赠送独家周边产品,一个下次活动的邀请(带一个加号),以及三个我们的数据服务平台第一季的白名单名额。要赢得奖品,只需在 AMA 的聊天中提出有深度的问题。我们将在结束时选出获胜者,并在 X(前身为 Twitter)上发布。

让我们开始,给 Sean 和 Rohan 提个问题:今年有哪些 AI 发展让你印象深刻?

Sean Ren (06:13)
我先来。我对一种叫做 GenIE(生成式交互环境的缩写)感到非常兴奋,它是由谷歌 DeepMind 发布的。从历史上看,AI 代理的模拟环境都是手工制作的——有很多固定的规则和限制。但通过 生成 交互环境,你可以进入无数种可能性。你可以想象不同类型的游戏或场景,AI 代理可以探索,甚至超越现实世界中物理上可能发生的事情。这为训练和评估 AI 开辟了广阔的机会。我预计会有更多的团队进行类似的工作,这将推动 AI 的测试和开发的前沿。你觉得如何,Rohan?

Rohan Taori (07:49)
是的,这很有趣,并且与我想提到的内容密切相关:向 测试时间计算强化学习 (RL) 的转变。历史上,人们关注于扩大 训练——在更多的数据和更大的模型上进行预训练。但对于 RL 来说,扩展 测试时间计算 将扩展解决方案空间。你可以拥有更细微的数据分布、更复杂的环境,以及多种方式来调整你的模型以达到你想要的效果。这种对测试时间计算的新关注,结合你提到的交互式环境,确实扩大了 AI 的创造性空间。我们将在 2025 年见到更多这样的情况。

乔尔斯·巴拉根 (09:11)
酷!2024 年将是一个突破性的一年。回顾过去,你们认为过去一年中最重要的 AI 进展是什么?

Sean Ren (09:32)
我同意 Rohan 对推理时间(或测试时间)可扩展性的强调。人人都知道,扩展预训练——大量计算和数据注入这些模型——是成功的,但它正显示出饱和的迹象。OpenAI 和其他实验室的人们已经注意到了这一点。后训练(如微调和 RLHF)还有更多工作要做,但新的前沿是将更多智能和计算推入 推理阶段

而且,我对新的、更 高效 的序列模型架构,如 Mamba、状态空间模型等,感到印象深刻,它们减少了训练和推理的计算要求。这对 AI 的工程和基础设施方面来说是巨大的进步。

Rohan Taori (11:07)
确实如此。随着更高效架构的发展,我们还看到了模型运行的 大幅 降价——推理令牌的价格可能下降 10 倍、100 倍或更多。这意味着更多的人可以部署和实验这些模型。同样,伴随着 Llama 3.1 发布,开源模型的能力越来越强,这对开源社区、爱好者和发烧友都是非常好的消息。

Sean Ren (12:51)
是的,我有时会忘记开源模型已经变得如此出色。仅仅一两年前,开源模型的能力还相当有限。但现在,Llama 3 系列的模型几乎可以马上使用。你可以用于个人信息检索、客户服务或者基于检索的生成。得益于模型蒸馏等技术,你甚至可以在设备上使用一些较小的模型。这对更广泛的部署来说是一个大问题。

Rohan Taori (13:35)
很高兴看到 2025 年设备上的部署将如何发展。人们正在研究更好的量化方案和减少内存需求的方法。开源社区真的在推动这一边界。

乔尔斯·巴拉根 (13:50)
没错。我们还没有谈到的一个问题是去中心化 AI。在 2024 年,去中心化 AI 的作用是什么?

Rohan Taori (13:48)
这是一个有趣的问题。在 2023 年,我们看到对开放源代码社区参与的强烈推动——例如,为 Llama 1 和 2 构建精细调整数据集。随着 Llama 3.1 及其强大的开箱即用的精细调整和 RLHF,社区驱动的指令数据集的重点有所减少,因为官方版本已经相当优秀。但去中心化 AI 的概念超过了数据集的创建。它还涉及我们如何能够共同构建和分享模型、数据以及 RL 的环境。在这一方面,尤其是测试时间可扩展性方面,仍然存在很大的机会,但这需要更多的创新,或许是对社区的新激励。

Sean Ren (16:08)
是的,我完全同意。推理时间可扩展性使去中心化 AI 更具吸引力。例如,你可以将 Llama 3 作为基底(类似于商品层)然后在其上构建 私人专有 的管道——比如专门的系统提示、RAG 数据库或具有某些归纳偏见的外部记忆。该管道就成了可货币化的组成部分。中小企业可以这样做;开发者可以激发出有趣的用例。然后,最大的问题是如何让基础模型的创作者维持生计。但只要像 Meta 这样的公司不断更新 Llama,这对整个生态系统都是有利的。

乔尔斯·巴拉根 (17:59)
好的见解。Sean,你简要提到了数据。Sahara AI 最近推出了一项数据服务平台,在 Sahara,我们常说:“优秀的 AI 需要优秀的数据。”我们为什么要从数据服务平台开始,这对 AI 意味着什么?

Sean Ren (18:17)
大家都知道数据是 AI 的“新石油”,但它必须是高质量的数据。你可以爬取互联网,但会得到嘈杂的数据。如果你要在特定领域构建 AI 应用程序,您需要经过良好策划的、平衡的数据——没有重大偏见,没有无关的噪音。这就是数据服务(收集、清洗、标记)仍然是一个巨大的行业的原因。

下一个层次是弄清楚如何鼓励人们分享 有价值的 数据,而无需担心他们会失去拥有权或收入潜力。如果他们提供的数据被用于训练或完善最终能够赚钱的模型,你想要能够为数据提供者启用 持续 的收入分享。这就是数据来源变得至关重要——跟踪数据的来源和使用,以便如果某个数据贡献者的工作最终出现在有利可图的应用中,他们可以分享收入。

我们之所以开始数据服务平台,是因为它是所有这一切的基础。我们希望创建一个独特数据集与模型开发者相遇的市场。后来,我们可以允许更复杂的互动,例如从产生的模型或应用中进行收入分享。

Rohan Taori (21:20)
确实如此。展望 2025 年,扩大测试时间计算和 RL 将不仅需要文本数据,还需要交互式 环境。这是一种新的“数据”,也是模型调整的新方面。想象一下可以众包的环境或任务,这些代理可以探索。同样的激励机制适用:我们如何奖励这些环境或专门数据集的贡献者?

乔尔斯·巴拉根 (23:49)
很好。Rohan,你提到我们已经从“AI 助手”转变为“AI 代理”。随着进入 2025 年,您还看到哪些重大趋势在地平线上?

Rohan Taori (30:17)
我们已经涉及很多:更多的代理系统,更高的测试时间计算和大幅降低的成本。这些趋势结合在一起将使 AI 更加便宜、快捷、更智能和更多才多艺。我特别对 多模态性 感到兴奋。我们已经看到了接受文本、图像、音频甚至视频流的模型的曙光(比如谷歌与 Gemini 的新演示)。在 2025 年,我们将看到多模态模型的爆炸——无论是专有的还是开源的——你可以用任意模态与 AI 对话,并获得多种形式的反馈。这将解锁巨大的新应用。它还将使数据问题变得更大,因为现在我们涉及文本、图像、音频、视频、3D 数据等。

Sean Ren (32:05)
是的,我也对“上下文化”模型感到兴奋,它们整合了文本之外的信号——语音、图像、环境数据等——以创建更自然的互动。例如,你可以录制一个快速视频,并要求 AI 观察或推理它所看到的内容。现实世界的用例变得更加引人注目且扎实。在商业方面,这些更丰富的模型提高了生产力(自动化重复任务,与企业系统集成) 娱乐(沉浸式、游戏化体验)。我好奇我们是否会看到多模态 AI 的全新“杀手级应用”。无论如何,它肯定会改善现有的东西。

乔尔斯·巴拉根 (35:16)
我们已经达到了 AI 感觉无处不在的地步。我这一代人从互联网出生;下一代可能会成长为 原生 AI。这到底要多久?

Rohan Taori (35:43)
比我们想象的要快!即使在现在,你的电脑在没有点击按钮或以特定方式输入命令的情况下,也“不理解”你。在未来几年,孩子们会对我们在 2023 年或 2024 年使用电脑的方式感到困惑。他们会问:“你怎么能在 Photoshop 中按这么多图标?”他们将期待说:“嘿,电脑,做这件事,”它就会这样做。这种转变将像从纸质地图转向谷歌地图一样重要。

Sean Ren (36:59)
是的,这将重新定义“工程”或“生产力”。现在,你需要编程技能。但不久之后,一个智能体就可以通过一个自然语言提示编写整个代码库。我们也需要对教育进行新的思考。我们是否还会教每个人 Python,还是更专注于培训人们来指导和监督 AI 系统?伦理、哲学和治理仍然是至关重要的,因为我们需要确保这些 AI 系统与人类价值观保持一致。

Rohan Taori (39:17)
这是一个有趣的观点。编程会作为一项专业技能消失,还是它会变得和学习英语一样普及?我们可能会进入一个每个人都有一定编码流畅度的世界,因为这是监督 AI 的一种重要方式。或者我们可能会看到一个“元智能体”生态系统,它仅凭人类的高层指导来构建、验证和维护软件。

乔尔斯·巴拉根 (41:22)
让我们留出一些时间给观众提问。有个问题是:“我们应该对能够创造其他 AI 的 AI 设定什么伦理边界?”

Rohan Taori (45:20)
有趣的问题。这里至少有两个方面:

  1. AI 改进或创建新 AI:这可以意味着递归自我改进或模型蒸馏。我们需要确保新创建的 AI 保持一致性和安全性。这需要在每次能力增进后进行强有力的保护措施和评估。AI 实验室正在为此而努力,但这是一个巨大的挑战,尤其是在决定如何衡量风险或“越狱”潜力方面。

  2. AI 为任务生成更多计算能力:另一个问题是我们允许 AI 同时使用多少计算能力,或者我们是否放任它自主启动多个代理。这也需要仔细测试。逐步部署的方法——在这里我们测试新能力,观察它是否打破一致性,然后再继续——将是关键。

Sean Ren (48:05)
是的。在短期内,我们今天所使用的相同一致性方法适用于 AI 创造 AI 的场景——模型蒸馏、自我对弈或多代理优化。这并不是一个完全不同的问题,尽管它提高了风险。我们只需要更加警惕。

乔尔斯·巴拉根 (49:05)
另一个问题是:“我们距离实现 AGI 有多近,这对人类意味着什么?”

Rohan Taori (49:07)
很难说,因为 AGI 对不同的人意味着不同的事情。有些人将其定义为经济影响,有些人则从 AI 能够递归自我改进的角度来定义。但总体而言,AI 能力正在快速提升,社会转型将比先前的技术浪潮(如互联网)更快发生。我认为 2025 年不会一切都改变,但我们会看到重大进展,特别是在多模态性和扩展推理方面。

Sean Ren (50:23)
是的,这取决于定义。如果你把一个高度能力的多模态模型称为“AGI”,那可能就在一两年内。而如果你是指完全一致且自我改进的东西,那可能会更长时间。但关注现实世界的对齐和安全性总是更有意义,而不仅仅是对“AGI”的倒计时。

乔尔斯·巴拉根 (51:23)
下一个问题是:“我们如何鼓励开源社区更积极地参与模型精细调整流程的开发和改进,特别是在去中心化 AI 中?”

Sean Ren (51:42)
精细调整大型模型的成本很高——计算和数据都是实际障碍。一种方法是创造新的激励。例如,如果你为精细调整提供数据,那么如果一个经过精细调整的模型被商业化,你应该共享收入。这意味着构建能够跟踪数据来源和使用情况的平台,以便贡献者不会只是免费提供数据。此外,对于计算,我们可能需要去中心化或社区驱动的集群,以减少对任何单一方的负担。

Rohan Taori (52:33)
是的。此外,我们应该扩展不仅限于基于文本的精细调整,还可以进行 RL 和环境基础的调整。这可能意味着让人们构建或贡献“迷你环境”,帮助塑造代理行为。但最大的问题是如何获得足够的计算支持——所以这又回到了拥有良好的平台和开源的资金模型。

乔尔斯·巴拉根 (53:16)
最后一个观众问题是:“人工智能完全脱离人类因素还要多久?”

Sean Ren (53:16)
老实说,我认为这不应完全分开。这会导致类似于 黑客帝国 的情况,人类最终成为 AI 的能量来源。我更希望人类与 AI 保持紧密整合,持续将 AI 与人类的伦理、价值观和监督对齐。

Rohan Taori (54:03)
是的,100% 同意。关键是它们保持协作一致。

乔尔斯·巴拉根 (54:09)
我们今天的时间到此为止。感谢大家的参与,也感谢 Sean 和 Rohan 共享你们的见解。我们将选出奖品获胜者并很快在 X 上宣布。

最后几点提示:

  • 别忘了关注我们在 X(Twitter)上的动态并加入我们的 Discord。

  • 注册我们的候补名单:第二季的数据服务平台即将推出!我们总是首先向候补名单分享 alpha 信息。

  • 我们计划在大约两周内举行另一场 Twitter Spaces AMA,敬请期待。

再次感谢参与!