4个月RSI从0训练，田渊栋创业首个模型来了：MacBook Pro可跑，已开源

40B参数的MoE“程序员”，现在MacBook Pro就能轻松运行了！

田渊栋离开Meta后，强势回归——

他创办的Recursive公司，刚刚发布了首个开源模型Flint：

这款模型专为本地Agent编程设计，总参数达400亿，但每次生成token只激活25亿参数。

而且！它的运行速度比同类产品快了2倍。

配合优化后的推理引擎，Flint在MacBook Pro上能实现至少125 tokens/s的速度，而在RTX Spark上则超过150 tokens/s。

这也是Recursive成立以来，借助自动化AI研究系统交出的首份模型成绩单。

更令人惊叹的是，这个模型从零开始训练，仅用了短短4个月时间。

不得不说，田渊栋团队确实很有创意。

这套**「AI手搓AI」**的RSI方法，又被往前推进了一大步。

只不过这一次，成果首先落在了开发者的笔记本上。

MacBook Pro能跑

Flint首先要解决的，是本地模型一个非常实际的问题：

光能装下还不够，还得跑得够快、能干活。

它采用了MoE混合专家架构，具体来说，每个MoE层有256个路由专家，每个token选中6个，另外还有一个始终工作的共享专家。

这样总参数足够，每步计算涉及的激活参数也能稳稳控制在25亿。

此外，模型最高支持512k token的上下文窗口，数据可以保存在本地离线使用。

同时，Recursive还开源了推理引擎rec，专门优化Flint在苹果芯片上的运行。

官方测试中，同一个Flint模型使用rec，相比llama.cpp，在对应上下文长度的token吞吐量上能提升约1.4～2.6倍。

它的最终速度比同等级（参数量250亿～400亿）的稠密模型快了5倍，即使在短上下文场景下，也有近2倍的优势。

这其中就包括老东家Meta的Muse Glimmer。

编码成绩也十分亮眼：

Flint在SWE-bench Verified上得分74.2%，SWE-bench Pro v2为89.7%，Terminal-Bench 2.1为54.9%，都是同等级最佳。

毫不夸张地说，Flint在本地编码方面突破了帕累托前沿，推理速度快且代码能力强。

至于如何运行，Recursive也尽量简化了配置过程。

只需在支持的Mac上安装rec后，一条**「rec launch pi」**指令就能自动下载模型、启动服务并连接编程工具，另外OpenCode也有对应入口。

目前rec支持M4 Pro、M5 Pro和M5 Max，要求至少48GB统一内存，以及约30GB空闲磁盘空间。

换句话说，对于想将部分日常编程工作搬到本地的开发者来说，Flint确实是一个不错的选择。

让AI自己训练自己

回到Recursive本身，这家公司今年五月份才首次公开亮相。

一露面，就获得了6.5亿美元（约合人民币44亿元）的早期融资，估值高达46.5亿美元（约316亿元）。

谷歌GV、Greycroft联合领投，英伟达、AMD等巨头也参与其中。

一方面，投资方看重的是团队。

八位联合创始人个个背景深厚，除了田渊栋，还有吴恩达的弟子Richard Socher、清华姚班的施天麟、Vision Transformer的作者之一Alexey Dosovitskiy等。

另一方面，投资方押注的是技术路线。

Recursive从成立之初，就明确了研究方向为RSI，即递归式自我改进。

背后的逻辑也很直接：AI本身由代码构成，而AI现在已经能写代码，那么它能否进一步参与改进AI？

Eureka Machine就是Recursive对这个问题的初步尝试。

这个系统会先针对目标提出想法，再将想法实现，通过运行实验、检查结果来决定下一步。多条研究路线可以同时推进，之前有效的经验也能被保留和组合。

此前Recursive公开的第一批实验成果，就来源于此。

在NanoChat Autoresearch、NanoGPT Speedrun和英伟达SOL-ExecBench上，分别拿下了整体和各单项测试的SOTA。

这三个基准测试依次对应训练质量、训练速度和GPU内核效率。

到了Flint，问题变得更大了。

团队把这些不同环节的改进组合在一起，构成了一个最终能交付的模型。

这也解释了为什么Recursive要把首款模型选在本地编程这个方向，因为本地代码任务容易获得反馈，自动化研究找到的收益也更容易被逐项检查。

显然，进展不错。

所以对于田渊栋和Recursive来说，下一步就很明确了——

这套自动化AI研究系统，能否让下一款模型用更少的研发成本，交出更好的实际能力。

咱们拭目以待。

参考链接：

[1]https://x.com/RichardSocher/status/2112944385415426249

[2]https://recursive.com/updates/introducing-recursive-flint

[3]https://x.com/NVIDIARTXSpark/status/2112963691469787433

[4]https://x.com/tydsh/status/2112952791480357331[5]https://docs.recursive.com/edge/rec

本文来自微信公众号“量子位”，作者：鹭羽 ，36氪经授权发布。在亚博APP下载上，用户可以获取更多类似的技术资讯和开源项目动态。