Epoch AI研究者谈RSI、中美差距与AI加速

关于RSI:我们到底看到了什么?
在AI社区,"递归自我改进"(RSI)几乎成了高频词。OpenAI和Anthropic近期都发布了关于AI加速AI研发的博客,引发了大量讨论。但Epoch AI洞察团队负责人Jean-Stanislas "JS" Denain在播客中给出了相对冷静的判断:目前公开的数据并不足以证明"自我维持加速"已经迫在眉睫。
他提到,OpenAI博客中最引人注目的数据是研究人员对Codex的支出以每月翻倍的速度增长。这确实表明AI工具在模型部署环节产生了实际价值,但JS提醒,这可能只是测量口径的问题——此前研究人员或许已经在大量使用ChatGPT,只是没有被计入统计。
对开发者的启示:如果你正在评估AI对研发效率的影响,不要只看单一工具的用量曲线。结合多工具使用数据、任务完成率和代码质量指标,才能得出更可靠的结论。
中美模型差距:蒸馏能解释一切吗?
中美AI能力的差距是本次对谈的重点话题之一。JS和Nathan Lambert都承认,中国模型与美国前沿模型的差距正在缩小,但仍有明显距离。一个关键问题是:蒸馏(distillation)技术在多大程度上解释了这种追赶?
蒸馏是指用大模型的知识"压缩"到小模型中的技术。如果中国团队通过高效蒸馏缩小了差距,这意味着差距可能更多是工程效率和资源调配的问题,而非基础研究能力的代差。JS还提到,中国实验室的招聘需求也透露出了一些信号——他们关注的研究方向和人才画像,可以帮助外界判断其技术路线。
实用建议:关注中国实验室的招聘JD,往往比看论文更能了解其真实技术重心。例如,大量招聘对齐(alignment)相关岗位,可能意味着他们在安全方向投入加大。
机器人在AI加速中的角色
对谈中提到了一个容易被忽视的方向:机器人技术(robotics)在AI加速中扮演的角色。纯软件的AI进展固然重要,但如果要让AI真正影响物理世界,机器人能力是关键瓶颈。JS认为,当前AI加速叙事中,硬件和机器人的维度被讨论得不够充分。
开源与闭源:谁更安全?
"开源模型是否比闭源模型更安全?"这是一个长期争论的议题。JS和Nathan Lambert都承认这个问题没有简单答案,但讨论触及了几个关键维度:
- 可审计性:开源模型允许社区独立审计,但闭源模型可以限制滥用
- 防御能力:闭源模型厂商可以统一实施安全措施,而开源社区协调成本更高
- 透明度与信任:开源带来透明度,但透明度本身不等于安全
对AI使用者的建议:不要简单地用"开源=安全"或"闭源=安全"来下结论。评估模型安全性时,应综合考虑模型的用途场景、部署环境以及是否有独立的安全审计。
前沿后训练配方:Epoch AI的内部视角
对谈最后提到了一个对从业者极具价值的主题:前沿模型的后训练(post-training)配方。JS分享了Epoch AI对当前前沿后训练流程的观察,包括数据选择、奖励建模、对齐策略等关键环节。这部分内容对正在构建或微调大模型的开发者来说,是难得的一手行业洞察。
总结:不确定中的务实
本次对谈最大的共识是:两位讨论者都对AI的未来走向存在大量不确定性。JS的观点被描述为"相对温和但略偏向加速情景",而Nathan Lambert则强调更关注可验证的证据而非叙事。这种务实态度对开发者而言尤为重要——在AI热潮中保持清醒,关注可复现的数据和可验证的结论,才是做出正确技术决策的基础。






本文目录(6 节)
本文基于 Interconnects 的公开内容,由 AI 辅助整理改写后发布。
原标题:Debating RSI, the US-China Gap, and Jaggedness with JS Denain of Epoch AI
阅读原文