Slime让大模型“自己变强”的后训练系统

Slime 是一套高性能框架，专为大语言模型（LLM）训练完成后的强化学习（RL）调优场景设计。它打通了 Megatron（高效训练引擎）与 SGLang（数据生成工具）的能力，已为 GLM-4.7、通义千问 3（Qwen3）、深度求索 V3（DeepSeek V3）、Llama 3 等顶尖模型提供底层支撑。
借助该框架，你可搭建高效且灵活的强化学习工作流，其内置可定制化的数据工具能有效缩短训练耗时、提升模型精度，无论是科研场景还是生产环境均适用；同时还能节省算力资源，助力在物理领域、智能体开发、代码生成等方向取得突破性成果。

如果把现在的大模型发展简单划一条线，会发现真正拉开差距的阶段，已经不在“预训练”，而是在“训练之后”。模型本身的规模越来越接近，真正决定能力上限的，是后训练阶段——尤其是强化学习（RL）这一层。而 THUDM 推出的 slime，正是围绕这一阶段构建的一套工程化框架。

它并不是一个常见意义上的“AI应用工具”，也不是一个简单的数据生成脚本集合。slime更像是一条被打通的流水线，把大模型后训练中最关键的几件事连接在了一起：数据从哪里来、如何高效生成、如何参与训练，以及如何在循环中持续提升模型能力。很多人第一眼会觉得它像一个“数据生成工具”，但如果只停在这里，其实低估了它的定位。

在 slime 的设计里，数据并不是独立存在的资产，而是训练过程的一部分。通过接入像 Megatron 这样的高性能分布式训练引擎，以及 SGLang 这种高效推理与生成工具，它构建的是一个闭环：模型生成数据，数据经过筛选或奖励机制进入训练，再反过来提升模型能力，然后再生成更高质量的数据。这个循环本身，就是所谓的 RL scaling 的核心。

也正因为这样，slime 看起来会同时具备两种“气质”。一方面，它确实提供了非常灵活的数据生成能力，可以自定义 pipeline，构建不同类型的训练数据，甚至通过 server-based 的方式扩展生成能力；但另一方面，这些能力并不是为了单纯“产出数据”，而是服务于后训练阶段的强化学习过程。换句话说，它不是把数据交给别的系统去训练，而是把数据生成直接嵌入训练体系之中。

这种设计带来的变化在工程层面非常直接。传统流程里，数据、训练、评估往往是分散的，而 slime 更像是在尝试把这些环节重新收拢到一套统一框架中。这样做的结果，并不只是“更方便”，而是让模型具备一种持续自我改进的能力：数据不再是一次性准备好的资源，而是可以随着模型能力不断迭代。

至于那些常见的描述，比如“支持 GLM、Qwen、DeepSeek、Llama 等模型”，更合理的理解是：它具备适配主流大模型体系的能力，而不是这些模型都“基于它构建”。同样，“提升精度、节省算力”这些说法，本质上是对这种闭环训练方式的结果性描述，而不是框架本身直接提供的保证。

如果一定要用一句话去概括 slime，更贴近它实际定位的表达应该是：它是一套围绕大模型后训练阶段构建的系统，把数据生成与强化学习训练整合在一起，用工程化的方式支撑模型能力的持续提升。相比“做一个更聪明的模型”，它更像是在解决另一个问题——如何让模型持续变得更聪明。

Github：https://github.com/THUDM/slime
油管：https://youtu.be/6Z6JtuOYstI