Ling-3.0 tiny & flash Base Models 正式开源

魔搭ModelScope社区

40人浏览 · 2026-08-21 10:08:39

魔搭ModelScope社区 · 2026-08-21 10:08:39 发布

8 月以来，Ling-3.0 系列模型陆续开放。灵波先后开源 Ling-3.0-flash 和 Ling-3.0-tiny，希望为开发者提供覆盖不同规模、不同任务需求的开放模型选择。

开源之后，越来越多开发者开始基于 Ling-3.0 探索自己的应用场景，灵波也收到了很多来自社区真实的使用和反馈。大家普遍反馈：希望拥有一个更开放、更具可塑性的 Base Model，以便基于自己的数据、任务和目标开展后训练。

在 Ling-3.0-tiny 的 Hugging Face Community 中，一位开发者直接提出：“Can we get a base model?”

在他看来，Tiny 的模型规模和稀疏架构对预算有限的研究者很有吸引力，适合开展强化学习 rollout 和面向具体场景的后训练；相比已经完成后训练的模型，社区更需要一个能够继续塑造的 Base Model。

灵波正式回应这份期待。

不只开放最终权重，也开放训练过程中的关键节点

近日，灵波将 Ling-3.0-tiny-base 与 Ling-3.0-flash-base 正式开源。除最终 Base checkpoint 外，灵波还将同步开放两个模型的预训练和中期训练的权重 checkpoint，共计 6 个 checkpoints。社区既可以观察模型能力如何随训练阶段变化，比较中期训练与模型合并带来的增益，也可以选择更适合自身数据与研究目标的训练起点。

预训练 checkpoint：已完成大规模预训练，尚未进行中期训练、WSM 合并和后训练；
中期训练 checkpoint：已完成中期训练，尚未进行 WSM 合并和后训练；
WSM 合并 checkpoint：已基于中期训练 checkpoint 完成 WSM 合并，尚未进行后训练。

这些 checkpoints 适合用于持续预训练、领域监督微调、偏好优化、强化学习后训练、蒸馏，以及长上下文和 MoE 系统研究。

值得注意的是，在中期训练结束后，灵波将传统学习率衰减改写为 checkpoints 加权合并，即 WSM1（Warmup-Stable and Merge）。由于没有了学习率衰减，灵波的 Base Model 更适合持续预训练和动态扩展数据，且支持训练后离线探索不同学习率“衰减曲线”。

与此同时，Ling-3.0-tiny-base 与 Ling-3.0-flash-base 采用统一的训练方案，为策略验证与规模扩展提供了一条清晰路径：先在 Ling-3.0-tiny-base 上低成本试验，再将验证有效的方法扩展至 Ling-3.0-flash-base。

需要特别说明的是，Base Model 并不是已经完成指令对齐的聊天模型。灵波不建议未经后训练便直接将其部署为面向终端用户的聊天服务，也不建议未经额外对齐和评估便用于安全关键型应用。任何生产使用都应完成面向具体任务的后训练、评估与验证。

Tiny & Flash 两个系列 Base Models，面向真实世界的不同探索

Ling-3.0-tiny-base：更适合研究者上手的代码与后训练底座

Ling-3.0-tiny-base（总参数 7.9B，激活参数 1.3B）相对紧凑的总参数和激活参数，为更多研究者提供了一个能力扎实、可继续训练和塑造的开放起点。

基于下表中的模型能力对比，模型以相比前代 50% 左右的总参数量，在大多数评测中取得更高结果；在与同等规模模型对比中，展现出更具竞争力的代码能力。