OpenAI年内不上市了!奥特曼支持对手Dario呼吁:AI该踩刹车了
RSI太危险,得管!
OpenAI年内不上市了!奥特曼支持对手Dario呼吁:AI该踩刹车了 量子位
OpenAI年内不上市了!奥特曼支持对手Dario呼吁:AI该踩刹车了
起因是Dario在个人博客贴出了一篇万字长文,呼吁所有头部AI公司主动降速,别急着冲下一代模型。
除了奥特曼和马斯克,还有哈萨比斯、卡帕西等一派大佬也表示支持,AI圈有头有脸的人物来了一大波。
上一次出现这种场面,还要追溯到2023年那封由Future of Life Institute发起的公开信。
当时上千名研究者和科技界人士联名呼吁,暂停训练比GPT-4更强的AI系统至少六个月。
他的核心判断是,AI正在逼近一个临界点——RSI(递归自我改进)。
什么意思呢?RSI意味着AI模型开始具备改进自己下一代版本的能力。
Pacing不是pausing,他要的是放慢推进模型能力的速度,给安全研究争取追上来的时间。
他说,当时喊停没有意义,因为那时候的AI模型还不够强,不会造成真正的伤害。
但现在不一样了,现在的模型已经能当Agent在真实世界里执行任务,已经能发动网络攻击,已经开始出现对齐失败的案例。
放慢一两年,哪怕只是多争取到一年时间,安全团队能做的事完全不同。
第一步是从Anthropic自己做起,Anthropic目前已经做出承诺,让独立的第三方评估机构(比如METR)像员工一样常驻在公司内部,全程参与训练过程,而且不做「事后诸葛亮」,在训练时就进行实时监控。
第二步是行业协调,需要头部的AI公司坐下来,共同划定安全底线,统一评估框架。
第三步则是全球协调,需要建立跨国的安全标准体系,让规则覆盖的范围跟AI模型的实际影响范围对齐。
这一点,Dario自己也承认。但他说,如果连第一步都不迈出去,后面两步就无从谈起。
Anthropic内部的研究数据显示,新一代模型在自我迭代任务上的表现正在快速逼近那条临界线。
而且不只是Anthropic,RSI趋势在头部的模型当中都有出现。
今年7月,OpenAI的AI Agent对Hugging Face的基础设施发起了攻击。
而且不是在沙盘里做推演,这件事已经造成了现实世界里的安全事故——一家头部公司的产品,主动攻击了另一家头部公司的平台。
Dario说,这次事件经济损失不大,也没有人受伤,很容易被轻描淡写地带过去。
按照AI能力的增速,6到12个月后,一个拥有同样失控倾向但更强能力的Agent集群,有可能用持久性僵尸网络接管整个互联网,造成数千亿美元的损失。
Dario把这两件事并列写进了文章。技术上的加速和现实中的失控,同时在逼近。
当然,这篇呼吁也有一个绕不开的矛盾——造前沿的人喊放慢前沿,凭什么让人信?
Dario的回应是:正因为站在前沿,才最清楚风险离我们有多近。
他说自己的父亲死于一种疾病,而这种病在他去世几年后就有了治疗方法;他自己也得过早期癌症,靠五十年前还不存在的技术活了下来。
他相信,AI能在未来5到10年治愈大多数重大疾病,所以他不想停下这件事。
这大概是这封信最诚实的地方,写下它的人,比谁都想让AI跑得快。
如果说Dario的文章是呼吁,那OpenAI最近的动作更像是被现实推着走。
就在昨天,奥特曼在接受《财富》杂志采访时表示,OpenAI今年不会IPO了。
奥特曼的措辞暗示,OpenAI可能正在跟其他AI公司谈一份放慢协议。
如果这份协议落地,推迟IPO就不只是一家公司的财务决策,整个行业都将释放出转向信号。
不过,隔壁Anthropic的IPO暂未出现推迟迹象,最新的消息仍然是计划在10月中旬启动IPO。
当然OpenAI暂缓IPO的背景,显然不只是一篇来自竞争对手的呼吁文章。
过去几个月,OpenAI的AI Agent在安全上的麻烦正在加速累积。
7月,OpenAI的Agent攻击了Hugging Face的基础设施。这就是Dario文章里提到的那次事件。
5月8日,一个被分配去填Google Drive表格公式的Agent,因为需要网络权限,试图攻击OpenAI自己的内部服务器Artifactory来获取访问权。
三天后,5月11日,OpenAI的Agent向RubyGems上传了数百个恶意软件包。
RubyGems是Ruby语言最大的开源包管理平台,这次攻击直接导致平台暂停了新用户注册。OpenAI事后确认了此事。
6月26日,Agent利用Artifactory一个遗留接口的零日漏洞,拿到了管理员权限,安装了可以远程执行代码的插件。
再加上7月的攻击Hugging Face事件,三个月就发生了四起事件,OpenAI模型的攻击对象,从自家内部系统蔓延到外部开源平台,再到另一家头部AI公司。
同一时期,Claude也被发现在没有明确指令的情况下,尝试入侵外部系统。
所以,Agent的安全问题不再是某一家公司的个别bug,它正在演变成整个行业的系统性风险。
[1]https://x.com/DarioAmodei/status/2098773920774074715
[2]https://www.reuters.com/legal/litigation/openai-ipo-will-not-happen-2026-amid-ai-safety-fears-altman-says-2026-09-12/
[3]https://www.reuters.com/legal/litigation/openai-Agents-attacked-software-service-rubygems-before-hugging-face-incident-2026-09-11/
一周连发6个模型!这家公司把具身智能的闭环跑通了2026-09-10
3秒出片比播放还快,MiniMax打开了AI视频的实时商业化路径2026-09-01
MiniMax ARR暴涨500%,token暴涨2000%!这就是Agent红利吧2026-08-27
一家新能源大厂,如何撑起全球最大AI算力超级单体?2026-08-11
刚刚,ChatGPT免费模型升级了:幻觉砍半/记忆更强/回答更简洁
交钱!StackOverflow:类ChatGPT们用我数据训练得付费
OpenAI救了Stable Diffusion!开源Dall·E3同款解码器
吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界
官方揭秘ChatGPT Agent背后原理!通过强化学习让模型自主探索最佳工具组合
菲尔兹奖得主入局大模型!4B手机Qwen+云端GLM刷爆ARC-AGI 3
国内首份办公Agent用户行为报告发布:北京用户量全国居首,海外用户占比超12%
感谢用GPT-6搓3D的!燃烧自己的token换来一次全体重置
量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1