较Jev高出27%!升级版StartLux-Decision让决策模型学会按需思考
近日,StartLux-Decision决策模型正式升级并开源,并同步公开配套技术论文。此次发布由Instant与AutoThink组成的双路线模型矩阵:Instant覆盖0.8B、2B、4B、9B、27B五种规模,面向高频任务快速判断;AutoThink覆盖4B、9B、27B,让模型真正做到“简单问题快速答,复杂问题想清楚再答”。
这套全新的决策机制,让团队又一次刷新了决策模型全球第一的纪录。在Decision Index 0.3公开评测中,StartLux-Decision-27B-AutoThink取得73.37分,击败Jev(hosted)的57.96分,相对领先约27%,位列公开榜单第一。一个月前,Jev还是决策模型赛道的标杆;如今,StartLux-Decision已经完成强势超越。
为了解决模型“该不该思考、何时停止思考”的难题,团队首创RLCD²强化学习训练方法,通过奖励真正改善决策的推理、惩罚超出预算的冗长生成,让模型把计算用在关键处。
此次发布还带来DecisionPivot测评基准,专门检验模型能否抓住足以改变结论的关键细节;同时提出策略感知校准,让模型给出的置信度在筛选、路由等真实流程中更贴近实际正确率。
从双路线模型矩阵到全球第一的公开评测成绩,从原创训练方法、全新测评基准到校准机制与动态多模态探索,新一代StartLux-Decision不只刷新了性能上限,也在重新定义决策模型应该如何思考、如何评测、如何走向真实场景。
公开决策评测:StartLux相比Jev大幅领先
团队从两个角度检验新模型:Decision Index(DI)衡量综合决策表现;此次推出的 DecisionPivot专门检查关键条件变化后,模型能否相应改变判断。前者看总体成绩,后者看决定答案的细节。
在DI 0.3公开部分,27B AutoThink得分73.37,Jev(托管版)为57.96,相差15.41分;无需生成推理的27B Instant也达到72.83。

领先并不限于最大模型:4B Instant得分67.88,超过vLLM Semantic Router团队的27B Decision 3.0 d3(65.44 分)。Instant各规模比同规模最强的参评决策模型高7.4–16.9分。

图1 DI 0.3 公开部分的同规模比较;Jev参数规模未公开,虚线仅作得分参照
在需要识别关键条件、完成计算的DecisionPivot核心评测中,27B AutoThink的成组准确率为86.9%,Jev为31.0%,领先55.9个百分点;27B Instant也达到 75.4%。

图2 DecisionPivot 成组准确率。GLM-5.3为低推理强度,DeepSeek-V4-Pro关闭推理
注:DI成绩仅覆盖公开子集,不代表完整官方榜单,Jev参考成绩取自公开榜单,该子集用于模型选择。DecisionPivot为StartLux自研测评集,未用于模型选择,成组准确率要求组内全部答对。本次AutoThink评测采用0.9思考门槛。
Instant 与 AutoThink:什么时候需要思考
实际任务的难度不同:大量常规判断需要快速完成,计算和规则例外则可能需要多步推理。为兼顾这两类需求,团队提供Instant和AutoThink:前者专注一次计算完成判断,后者先判断、只在不确定时继续思考,让计算投入随问题难度变化。
两类模型都接收状态、问题与候选选项,输出选项概率。Instant提供0.8B–27B五个规模,AutoThink提供4B、9B、27B三个规模,B表示十亿参数。
Instant在Full Attention层采用双向注意力,让题干结合问题和选项来理解;Linear Attention层仍保持因果计算。整个过程不生成推理文字。
AutoThink保留因果注意力。本次评测中,最高概率达到0.9就直接回答,否则由同一模型推理后再次读取概率。像审核员一样,条件明确就处理,遇到例外再核对条款。
论文的数据导出案例中,法律保全标记原则上要求转人工审核,但导出少于 100 条时例外;另一规则允许近30天导出少于2次、且本次少于500条时批准。导出3,332 条时,“人工审核”概率为0.959,模型直接作答。仅导出8条、近期没有导出时,初始仍倾向人工审核,但概率只有0.567,于是启动推理。
核对例外后,模型用159个推理 token,将“批准”概率从0.408提高到0.995。最终保留25%初始判断、75%推理后判断,融合概率约为0.848,以兼顾两次预测的质量。

图3 同一政策下的直接判断与推理修正;下方为7,800道核心题的单题统计
在复杂真实场景中持续判断
真实场景会不断变化,需要同时跟踪多个对象。以下演示对已录制素材每秒抽取一帧,围绕画面作出多项判断,只对置信度不足的判断进一步推理。
火箭发射演示中,模型跟踪尾焰、烟雾、发射塔、飞行阶段、镜头变化及潜在异常,每帧回答九个决策问题,展示连续视觉信息下的高频判断。
41次请求,369项判断,60项触发思考;非思考请求中位延迟86 ms
洪灾救援演示中,模型综合救援人员、幸存者、吊索与救援篮的状态,随画面更新救援进度、人员状态与任务优先级。
75次请求,675项判断,188项触发思考;非思考请求中位延迟131 ms
注:这些是录像分析演示,并非实际部署的实时航天监测或救援指挥系统。延迟仅统计非思考请求,不代表视频分析全流程。
RLCD² :让思考产生有效收益
RLCD²是团队提出的强化学习训练方法,全称为Reinforcement Learning for Calibrated Deliberative Decisions,目标是让思考改善决策概率,同时控制推理成本。仅允许AutoThink生成文字还不够:模型可能反复推理,甚至无法正常结束。团队因此要训练它把额外计算用于有价值的推理。
Jev最早提出RLCD方向,但原始训练方法未完整公开,第三方已有OpenJev-RLCD实现。团队此次原创提出并首次详细公开的是RLCD²的算法、奖励函数、训练设计和实验分析。
训练分为三阶段。前两阶段建立决策能力:第一阶段全参数监督微调,0.8B–9B使用约270万条样本,27B约80万条;第二阶段使用约170万条决策样本训练并合并适配器。第三阶段为每个AutoThink模型提供约4,000–21,000条推理监督样本,改善生成与终止,再用RLCD²优化。

图4 三阶段训练与推理流程。Instant完成前两阶段,AutoThink继续接受推理监督与RLCD²训练
许多推理强化学习方法依据最终答案对错给予奖励。RLCD²则用冻结的评分模型,评价思考前后整组选项概率是否改善,并惩罚超出长度预算的推理。它鼓励证据充分时提高把握,证据不足时保留不确定性。
推理奖励 = 思考后的概率评分 − 思考前的概率评分 − 超出长度预算的惩罚。

评分采用严格恰当评分规则,鼓励如实表达概率。发布配置从3,072个token起计入长度代价,生成上限为4,096个token,为有效计算保留空间。

图5 RLCD² 训练前后。前四项为2,986条预留样本,最右项为DecisionPivot门控评测

9B的推理正常终止率从45.9%提高到93.9%,平均长度从2,494降至868个token,减少约65%,有效的减少了生成长度。同时,融合准确率从80.38%变为80.48%。
复杂真实场景:识别细节,综合多模态信息
经过训练,模型能否注意到足以改变行动的小差别,还需要专门检验。这正是团队推出DecisionPivot的原因。它围绕七类系统角色组织评测,核心包含13类程序生成任务、共7,800道题。对照案例通常只改变一个决定答案的细节,要求组内全部答对,再按任务类别取平均。

图6 DecisionPivot系统角色与评测轨道。参考轨道题量沿用技术参考稿,核心比较均为7,800道题
例如,商品价格476.80瑞典克朗,含运费总价须严格小于500.84。运费只差0.02,结论就必须改变,模型需要真正完成计算。

系统可靠性:兼顾推理成本与决策概率
从评测和录像演示走向实际系统,还要考虑每次判断的成本,以及概率能否支持恰当行动。因此,此次更新也分析推理门槛与计算收益,并提出面向实际使用流程的策略感知校准,让按需思考与概率输出更适合系统调用。
先看计算成本。固定同一个AutoThink模型,再改变推理门槛,可以观察额外计算的收益。27B在DecisionPivot上关闭推理时成组准确率为48.0%,门槛为0.9时达到86.9%,平均每题使用304个推理token,包含无需生成推理的题目。

图7 固定 AutoThink 模型后的推理收益与开销;各规模横轴范围不同

再看概率如何被使用。系统常按置信度筛选答案,但筛选会改变概率对应的实际正确率。论文中,9B对单条回答给出80%–90%置信度时,实际正确率为92%;先从 32个候选中选最高分,再看同一置信度区间,实际正确率为78%。

图8 策略感知校准。左图比较相同置信度区间内的实际准确率,右图为平均绝对差距
为此,团队提出策略感知校准:让带标签样本先走实际筛选或路由流程,再调整最终概率,使校准贴合系统的使用方式,无需重新训练底层模型。四类流程、184组设置中的置信度与准确率差距明显收窄。

StartLux专注全本地智能系统。团队希望让模型在需要时思考、有效推理后及时停止,并让输出概率支持恰当行动。实际部署仍需结合自己的任务检验准确率、推理开销与端到端延迟。
代码、模型及论文:
为助力决策模型赛道发展,团队依旧完整开源升级版StartLux-Decision模型,欢迎大家下载、测试与交流。同时,也欢迎优秀人才加入团队共同推动RSI发展。
更多推荐




所有评论(0)