news_article.exe
📰
#GPT#Google#Gemini#Claude#开源#大模型#多模态

Jeff Dean离职后首次公开访谈火力有点猛。。。

2026年8月21日1 次浏览来源:量子位 阅读原文

离开谷歌的原因之一:小团队可以极致聚焦!

Gemini早期在Coding这事儿上,做得确实不太行哈。。。

从谷歌离职后的首次公开访谈也不藏着掖着了,直接上演了场《前员工锐评老东家》!

在斯坦福2026 Frontier&Pioneer Symposium上,Jeff Dean一口气聊开了不少过去很少公开展开的话题——

关于为啥离开谷歌、Gemini为啥不行、自己的科研秘诀、新公司Discovery Loop接下来准备押注什么……在访谈里全来了个一吐为快。

整场访谈听下来,信息密度可以说是相当高,姐夫这次给出的几个核心判断,我也帮大家浅浅总结了一下——

AI在网络安全上的能力,已经可能达到顶级人类攻击者水平,甚至更进一步。

TensorFlow当年有两个很明确的失误,Jeff Dean自己也认。

未来科学实验的一轮迭代,可能从一天、一周压缩到一分钟、一小时。

姐夫真正想做的递归自我改进,覆盖模型参数、训练数据、Eval,甚至模型架构本身。

在找重大研究方向时,与其精读1篇论文,不如先扫10篇,甚至100篇摘要。

以下为本次访谈的重点内容实录,围绕核心观点做了摘选整理,部分文字在不改变原意的基础上做了适度删改~

Q: 回头看Gemini的开发过程,最让你意外的是什么?有哪些经验能够影响下一代AI系统?

Jeff Dean:Gemini其实是Google内部几个更早研究项目最终汇合的结果——

包括原来的DeepMind、Google Brain,以及Google Research其他团队的一些工作。

比如不断扩大模型规模,同时也有几支团队各自在研究怎么让语言模型拥有多模态能力,让它能够理解图像之类的信息。

所以当时我写了一份一页纸的Memo,我就想,这样各自做各自的有点傻,我们应该直接一起做。

把大家的人、想法和算力资源都整合起来,训练一个从一开始就具备多模态能力的模型,把Google内部多个研究组织里最优秀的人聚到一起。

后来我和Oriol Vinyals一起发起了Gemini项目,担任最初的联合技术负责人,把这些团队真正聚了起来。

现在回头看,从一开始就让模型具备多模态能力,是一个非常成功的决定。

因为如果你最终希望一个模型能够用于各种事情,它就应该同时理解文本、语言、代码、图像、视频、音频,以及其他模态。

我们当时甚至在训练数据里放了一点LiDAR数据,至少让模型知道LiDAR这种数据形式的存在,因为之后进一步训练Gemini时,它也可能成为一个重要的应用场景。

但当时我们希望模型在很多事情上都表现得很好,所以我觉得,当时我们对怎么把Gemini的Coding能力真正做到惊艳,重视得稍微晚了一点。

后来我们意识到了这一点,也一直在努力追赶,现在已经有一些很不错的工作在推进。

当你专门去提升模型的Coding能力时,最后往往会得到一个更善于推理的系统,因为写代码本身就要求模型能够一步一步处理问题,把一个复杂的问题拆成多个子问题,再逐个解决。

所以当Coding能力得到提升以后,这种能力通常也会迁移到很多非Coding任务里。

Q:回头看TensorFlow,当时有哪些设计是你今天会重新考虑的?如果现在重新做一次,哪些地方会做得不一样?

后来这种方式在PyTorch和JAX这样的框架里变得很流行,TensorFlow后来也把它加了进来,我觉得这其实让整个抽象变得更好了。

另外一个问题,是我们开源TensorFlow的时候建了一个叫contrib的子目录,允许很多外部开发者往里面贡献各种辅助库和不同的实现方式。

后来这给社区带来了挺大的困惑,因为慢慢就变成了同一件事情可能有十种不同的做法,你到底该用哪一种,取决于你用了contrib里的哪个子目录、哪个库。

现在回头看,我们当时其实应该让TensorFlow核心保持更简洁,把这些东西作为建立在核心之上的外部库。

当然,TensorFlow整体上还是帮助了很多人真正开始接触机器学习,也让大家可以用一套共同框架去解决自己关心的问题,这一点我觉得是很有价值的。

Q:你为什么选择离开谷歌创业?相比大公司,小团队在做前沿AI研究上有什么优势?

Jeff Dean:我其实非常喜欢自己在谷歌度过的这些年,我在那里工作了27年,有很多非常棒的同事。

所以我觉得谷歌现在的状态很好,他们也有自己的计划,会继续把Gemini模型做得非常出色,与此同时,我自己也很期待出去做现在这件事情。

有时候,一个非常专注的小公司,所有人都围绕同一个使命工作,这种状态本身就很有吸引力。

而且今天的条件已经和以前很不一样了,云计算的发展,以及各种云平台上大规模机器学习算力的部署,让一个很小的团队也可以筹到一笔钱,然后直接使用这些基础设施,不需要自己从头把整套东西建起来。

所以如果一小群人有一个梦想、一个愿景,或者有一个自己特别想探索的方向,现在完全可以在一个规模很小的组织里去做。

我们可以依赖谷歌或者其他云服务商,让他们承担很多重基础设施的工作。

对我们来说,现在作为一家小公司,最令人兴奋的一点,就是可以非常专注地去做科学和工程自动化。

但如果只有大概10个人,大家坐在Palo Alto某个办公室里,所有人都只专注于这一件事情,那么很多大型组织里那些轻微的干扰,就可以直接绕过去。

当然,大公司也有很多很棒的地方,我这些年在谷歌建立了很多很深的友谊,也从大型公司能够提供的资源和支持中受益很多。

所以现在离开这些支持,确实会稍微让人有点紧张,同时,也非常令人兴奋。

Q:最近大家越来越多地讨论递归自我改进,AI系统能不能持续学习如何改善自己,甚至进一步加快AI发展的速度?你怎么看这件事?

Jeff Dean:用机器学习来改善机器学习,其实已经探索很多年了。

像我的联合创始人Quoc Le,很早就在做Neural Architecture Search:让一个模型自动生成模型架构,再根据学习速度、训练成本等指标不断获得反馈,逐渐找到更好的设计。

后来他们还做了Evolved Transformer,通过进化算法重新组合Transformer组件,最终找到的架构效率比标准Transformer高了大约30%。

所以我一直觉得,让AI参与改进AI本身,是一个非常重要的方向。

递归自我改进真正要解决的问题,是怎样让构建一个模型所需要的整套东西,都能够通过自动化方式持续变得更好。

今天通常会有一整个团队的人去研究,什么数据最有助于提升模型质量,需要什么样的Eval去评价模型,应该选择什么样的模型架构。

我认为这些环节未来完全可以形成非常有效的自动化Loop,每一个部分都持续优化,再把这些结果组合到一起,最终改善模型整体的能力、质量以及数据组合。

其实你仔细观察很多现代科学和工程问题,会发现它们都有类似的结构。

先有一个大问题,然后把它拆成很多子问题,针对一个子问题想出可能的解决方案,把这个方案实现出来,真正运行一次实验,再评价它究竟效果怎么样。

接着把实验得到的结果反馈回去,用这些反馈决定:下一次应该做什么实验。

这其实就是最基本的科学方法,工程设计同样如此,你不断迭代自己的设计,再比较不同方案的各种属性。

Discovery Loop目标:让一个模型拥有“20个博士”的科研能力

Q:你刚才谈到了递归自我改进,这似乎也和你刚刚成立的新公司有关。你们具体想做什么?

Jeff Dean::我们新公司Discovery Loop背后的想法,就是希望把机器学习、科学和工程自动化,从而提高很多不同领域产生科学发现的速度。

一开始,我们肯定会先聚焦在少数几个领域,因为早期保持一定的专注很重要。

但我们认为,不同领域之间其实存在很多可以复用的基础设施和通用技术。

而且,如果能够构建出真正理解很多不同科学和工程领域的模型,你就有可能让一个模型同时拥有很多领域接近PhD级别的专业能力。

但如果模型具备这样的能力,它就可以判断一个大问题里真正重要的子问题是什么,然后调度Agent和Multi-Agent系统分别解决这些子问题。

再把各个子问题的结果重新组合起来,形成整个大问题的解决方案,并持续重复这样的循环。

我们还希望把这个循环本身跑得越来越快,通过构建合适的工具,让系统能够非常快地实现一个实验,或者评价一次实验。

这样过去需要一天甚至一周才能完成的一轮实验,未来可能只需要一分钟或者一个小时。

不仅如此,我们还可以同时运行成千上万次实验,从这些实验里获得反馈,再利用这些反馈判断下一批实验应该做什么。

所以我们希望同时提高两件事情:实验运行的速度,以及实验本身的质量。

如果这两件事都能持续提升,我觉得最终会产生一些非常惊人的东西~

Q: 你是怎么判断一项技术是真正具有基础性价值还是只是当下比较流行?有没有什么一直没变的研究和工程原则?

Jeff Dean: 我经常跟学生说:与其非常仔细地读完一篇论文,有时候快速浏览10篇论文反而更好。

因为这样一来,你脑子里会多出10个关于“什么事情可能开始变得可行”的点,甚至可以快速扫100篇论文摘要。

因为你真正想具备的能力,是把那些此前还没有被连接起来的重要想法连接起来。

有时候当你面对一个很困难的问题,如果脑子里已经知道很多事情正在隐约变得可行,它就会帮助你重新理解整个问题。

一开始这个问题可能看起来有七个部分,每一个都解决不了,但重新看一遍,你可能会发现,其中五个方向已经有一些研究开始成形,可能足以解决其中一部分问题。

然后还剩两个问题,你现在完全不知道该怎么做,但如果认真投入,你觉得自己有可能把它们解决。

如果一个问题看起来要20年才能解决,而且眼下连其中任何一块该怎么突破都完全没有头绪,那通常还太早。

同样,一个两年就能完成、具体路径已经非常明显的问题,更多是在做实际工程。

真正值得寻找的,是那些可能需要一种很不一样的方法,同时又已经开始变得可行的问题。

我还有一个经常使用的工程工具,就是快速做数量级估算,比如,如果我要处理这么多数据,需要花多长时间,如果要通过这种网络传输这些数据,到底可不可行?需要100年,还是只需要10秒?

所以你要能够利用第一性原理和一些工程经验,在脑子里快速判断不同解决方案大概是什么量级。

我没有什么神奇答案,而且我也做过很多最后没有成功的事情,所以还有一个建议:

Jeff Dean: 我觉得这些模型可以被用于很多不同的事情,就像其他很多技术一样。

比如医疗AI、教育AI,帮助人们解决过去靠自己很难解决的问题,让大家能够完成更多事情,这些都非常令人兴奋。

但模型同样可以被用来寻找安全漏洞,所以这里确实存在一把双刃剑。

你可以用它去发现并修补现实世界里大量存在的安全漏洞,恶意用户也可以利用同样的能力去攻击这些漏洞。

现在这些模型确实已经能够完成一些高水平人类网络攻击者能够完成的事情,甚至可能更进一步。

与此同时,它们也可能找到一些连非常优秀的人类网络防御工程师都未必能够发现的漏洞。

所以网络安全一直存在攻防双方之间的平衡,一边有人努力保护计算机系统,一边有人努力攻击这些系统。

我不是网络安全专家,但我认为这确实是一个值得担忧的问题,对于一些我们不希望模型去做的事情,可能也需要非技术手段,比如法律和监管。

最终整个社会需要逐渐弄清楚,我们究竟希望模型做哪些事情,又希望阻止它做哪些事情。

[1]https://www.youtube.com/watch?v=0kC3xOZChdA&t=2s

机器人的GPT-3时刻真·来了!卡卡西上身,看3秒就学会新动作2026-08-21

阿里杀进Agent上下文战场:钉钉聊天、企业文档、工作数据终于要被Agent吃进去了2026-08-18

菲尔兹奖得主:AI现在主要靠「抬杠」突破重大数学猜想2026-08-17

让Hinton后悔投少了的AI公司:吴恩达弟子徒孙创办,LeCun李飞飞Jeff Dean投资,产品让人无法拒绝

Geoffrey Hinton、Yann LeCun、李飞飞、Jeff Dean都投了同一家公司CovariantAI,Hinton还后悔投少了

CovariantAI Geoffrey Hinton jeff dean Peter Chen Pieter Abbeel Rocky Duan Tianhao Zhang Yan LeCun 分拣机器人 吴恩达 李飞飞

Bengio Google Google Brain jeff dean Samy Bengio 谷歌 谷歌大脑 谷歌解雇门

突发,Jeff Dean离职创业!谷歌股价应声蒸发1.34万亿

LeCun之后Jeff Dean离奇躺枪,哥大黑人女博士:你们得引用我!

Jeff Dean创业BP曝光,杨植麟也在上面!硅谷VC抢破头送钱

DeepSeek Harness插件一夜燃爆GitHub:长期记忆、电子宠物、4399小游戏全来了

源神启动!一张消费级显卡跑“Opus级”Agent,Qwen3.8-27B多项榜单反超Claude

量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1

> 分享: