让大模型和机器人更聪明地交互
训练和部署大模型与具身智能体，需要大量交互：模型针对 prompt 反复生成 rollout，智能体执行动作、调用工具并观察环境反馈。每次交互都占用算力、显存与时间，机器人试错还伴随硬件损耗和物理风险。交互预算如何分配，直接影响学习效率与部署成本。
均匀采样会在简单任务上重复消耗算力，却让尾部与分布外（OOD）任务得不到充分训练。先评估再筛选也很昂贵：判断任务有多难，往往需要先完整执行一次。
推理模型的 RL 微调为每个 prompt 生成大量 rollout。过易或过难的 prompt 几乎不产生有效梯度，却照样占用算力与显存。若先执行 rollout 再筛选，评估成本已经发生；训练需要的是计算前的难度与学习价值判断。
低信息量 rollout评估任务难度需要真实试错。机器人摔倒、机械臂碰撞，都可能成为一次评估的代价。任务选择还要覆盖尾部与分布外环境，兼顾交互成本和适应鲁棒性。
高成本环境交互快思考与慢思考
System 1 和 System 2 来自 Daniel Kahneman 的《思考，快与慢》：熟悉的问题凭直觉作答，陌生的问题需要逐步推演。
System 1 决定何时调用 System 2，后者的计算结果可以沉淀为下次的直觉。记忆容量有限，留下什么也需要判断。
预测 执行 校准。 移入模块，查看它如何工作。
System 1：预测与调度
风险预测模型、难度路由器或样本效用打分器。一次前向预测任务价值与不确定性，决定计算和留存的优先级。
System 2：交互与推理
执行 rollout、环境交互、梯度更新与深度推理，消耗算力和存储，产出奖励、梯度与答案。
训练与推理，如何分配资源
学什么，存什么
- 算力预测任务风险与 prompt 难度，选择值得 rollout 或环境试错的任务（MPTS、MoPPS、GPS）；将有限 rollout 预算分配给更有学习价值的任务（TRACE）。
- 存储按信息量保留回放样本组（POPO），选择效用与多样性兼顾的训练批次（UDS），通过隐式按秩专家路由提高参数效率（FlyLoRA）。
想多深，记多少
- 算力以预测难度决定调用路径和推理深度：简单请求走快通道，困难请求投入更长的推理。
- 存储按需分配 KV 缓存与上下文窗口，选择值得保留的示例；YOEO 通过局部示例修正提高上下文学习能力。
训练中被 System 2 校准的 System 1，积累了对任务难度和交互价值的判断。我们将这种能力延伸到推理路由，并把真实请求与执行结果带回下一轮训练。每次使用产生的反馈，都可以成为下一次资源分配的学习信号。
同样的任务，不同的计算成本
让同一批 30 个任务经过两套系统：上方全部执行，下方先由 System 1 筛选。切换训练与推理场景，比较算力、存储和用时。
成本单位为相对值。
减少无效计算与存储
在高成本 rollout 发生前，按学习价值筛选 prompt。POPO 保留高信息量回放组，TRACE 按任务价值分配预算，避免重复计算与无效留存。
GPS 最高减少 69% rollout 成本；UDS 通过效用与多样性感知的批次选择，将监督微调算力成本大致减半。
预测先于昂贵评估
System 1 在线给出难度信号，省去对全部候选任务逐个试跑的等待。MoPPS 将预测式采样用于推理模型的 RL 微调，实现训练加速。
具身场景用更少环境交互完成适应；推理侧通过难度路由，让简单请求走快通道，按需展开深度推理。
学会应对难而有用的任务
预测信号可以接入不同选择准则。CVaR 等风险敏感准则将采样重点移向高风险尾部任务，提高 OOD 环境中的适应鲁棒性。
LPO 将分组 RLVR 建模为响应单纯形上的目标投影，兼顾准确率与推理多样性，改善多次采样下的解题能力。
根据上下文调整判断
以上下文为条件的 System 1，能根据当前任务和场景调整预测。In-Context MPTS 通过上下文建模，弥合任务适应风险的近似误差。
YOEO 通过局部示例修正激发上下文学习能力，让有限窗口容纳更有效的示例。这为无需反复重训的情境适应提供了方法基础。
方法与应用
| 场景 | System 1（快 · 预测 / 路由） | System 2（慢 · 计算） | 主要节省 |
|---|---|---|---|
| 具身决策MPTS · ICML-25 · KDD-25 · NeurIPS-26 | 风险预测模型，预测任务的适应风险，并可借助上下文建模缩小风险近似误差 | 智能体在随机化环境中的真实交互与策略适应 | 算力交互风险 |
| RL 后训练MoPPS · 动力学预测采样 · GPS | prompt 难度 / 学习动力学预测器，小模型即可泛化 | 大推理模型的 rollout 与 RLVR 策略更新 | 算力 |
| 监督微调UDS | 效用-多样性感知的在线批次打分 | 批次内样本的梯度计算与参数更新 | 算力数据 |
| 预算与回放TRACE · POPO | 按价值分配 rollout 预算；优先回放有效样本组 | 智能体 RL 中的多轮 rollout 与离策略优化 | 算力回放缓存 |
| 参数高效微调FlyLoRA | 隐式的按秩专家路由，决定激活哪些参数 | 低秩适配参数的训练与存储 | 参数存储算力 |
| 上下文能力In-Context MPTS · YOEO | 以上下文为条件的预测与局部示例修正 | 大模型基于示例的推理与生成 | 上下文窗口 |
| 推理服务设计延伸 | 难度路由：决定是否深度推理、推理多长 | 深度推理链与长上下文生成 | 算力KV 缓存 |
Jev 与我们的技术选择
TypeSafe 于 2026 年 9 月推出 Jev：不生成文本，在预设选项中返回带置信度的判断，单次决策约 70–500 毫秒。它先完成分类与路由，再将困难请求交给大模型，体现了轻量 System 1 的应用价值。
我们在 2025 年提出 MoPPS，将预测式采样用于大模型后训练。mentat 同样关注 System 1，重点是预测相对当前模型的任务价值，并用执行反馈持续更新。这一判断需要随 System 2 的学习过程而变化。
Jev
分类与路由
按分类结果调用规则、代码或大模型。
mentat
反馈驱动预测
System 2 的结果持续校准 System 1。
| 维度 | Jev | mentat |
|---|---|---|
| 两系统关系 | 级联：Jev 判断后交接给代码或大模型 | 闭环：System 2 的真实奖励、梯度与结果，通过流式变分推断在线校准 System 1 |
| 预测什么 | 对单个输入作出通用的分类、打分或是非判断 | 预测相对当前模型的难度与学习价值——随 System 2 能力变化而变化 |
| 作用阶段 | 推理 / 应用层的决策与路由 | 训练与推理两端：RL 后训练、SFT、具身适应，并延伸至推理服务 |
| 调度的资源 | 主要是调用路径与成本（用不用、用哪个大模型） | 算力 + 存储：rollout 预算、回放缓存、训练批次、参数、KV 缓存、上下文窗口 |
| 不确定性的用途 | 输出带置信度的校准判断 | 后验不确定性直接驱动主动选择，如以 CVaR 偏向高风险尾部任务 |
| 依据 | 产品基准：评测标签由前沿大模型共识生成；准确率与中档大模型相当 | 贝叶斯脑与主动推断理论，Nature Communications 及 ICML、NeurIPS、KDD 等同行评审论文 |
训练中的任务价值是动态的。昨天的难题今天可能已经掌握，值得保留的样本也会随模型能力改变。System 2 的真实奖励、梯度与结果，为 System 1 提供更新信号，使任务选择和资源分配贴合当前模型。
Jev 资料：Digital Strategy AI（2026/9/18）、澎湃新闻、人人都是产品经理。
MPTS 用生成式模型刻画学习的分段优化过程，通过后验推断预测候选任务的适应风险（adaptation risk）。轻量风险预测模型（RPM）充当 System 1，在真正执行任务前提供难度信号与后验不确定性，供采样准则选择任务。
智能体或大模型在选中任务上的交互与参数更新构成 System 2。真实反馈通过流式变分推断在线校准 RPM，使预测跟随学习过程演化。这个预评估模块将筛选成本从逐个任务的完整交互，转为轻量模型预测。
预测模型与采样准则可以分别设计。接入 CVaR 等风险敏感准则，采样偏向高风险尾部任务，目标是鲁棒性；接入中等难度优先的课程准则，目标是训练加速。同一个预测模块可以服务于不同优化目标。
MPTS 支持零样本、少样本与快速微调，覆盖基础模型预训练、元学习，以及机器人的领域随机化与元强化学习。实验中，大模型微调和具身决策均提升了尾部与 OOD 鲁棒性，用更少交互达到相当或更好的泛化。
理论来源
MPTS 借鉴贝叶斯脑与主动推断：建立内部模型，以预测指导行动，再用观测误差修正模型。
研究成果
我们围绕任务选择、预算分配与反馈更新形成了两条研究路径：具身智能侧关注随机化环境中的鲁棒快速适应，大模型侧关注 RLVR、SFT 与智能体 RL 的高效后训练。相关成果发表于 Nature Communications、ICML、ICLR、NeurIPS、KDD、EMNLP 等期刊与会议。
具身智能：鲁棒适应
System 1 预测任务的适应风险，System 2 在随机化环境中交互和更新策略。后验、多样性与上下文建模用于改善任务选择，使有限试错覆盖更有价值的环境，并提高尾部与 OOD 任务上的泛化。
后验 + 多样性协同的任务采样 随机化环境中的自适应决策者
对抗式显式任务分布生成 鲁棒快速适应
以上下文建模弥合 MPTS 的风险近似误差 让 System 1 的预测更准、更贴合具体情境
大模型：高效后训练
在线预测 prompt 难度、学习动力学与样本效用，为 rollout、训练批次和回放缓存分配资源。MoPPS 是较早用于 RLVR 训练加速的预测式采样算法之一，GPS 进一步探索小型预测模型的泛化；POPO、TRACE 等工作将资源调度扩展到回放与智能体 RL。
即 MoPPS：在线预测 prompt 难度 加速推理模型的 RL 微调
动力学预测采样 大推理模型的主动强化学习微调
即 GPS：小型可泛化的 prompt 预测模型引导大推理模型的高效后训练
即 UDS：效用-多样性感知的在线批次选择 大模型监督微调
即 LPO：把分组 RLVR 视作响应单纯形上的目标投影 兼顾准确率与推理多样性
统一的 rollout 预算分配框架 高效的智能体强化学习
即 POPO：分组优先的离策略优化，回放有效样本组 回收被浪费的 rollout 算力
即 YOEO：通过局部示例修正激发大模型的上下文学习能力
研究影响
我们的研究获得 Yann LeCun 与 Yoshua Bengio 的积极评价，并被数十位 ACM / IEEE Fellow 引用。
MoPPS 已被 Google、Meta、Apple、阿里千问、阿里 Roll、腾讯混元等团队引用或采用为基线。
媒体报道
我们的方向
mentat 相信，智能系统需要学会管理自己的计算与记忆。我们持续迭代的核心是 System 1 对任务难度、交互价值和上下文的判断能力：在训练侧决定学习资源投向，在推理侧决定调用路径、计算深度与信息留存。
这条路线的长期价值，在于预测能力可以跨任务复用，并从真实使用中持续校准。我们的推进方向是把训练中的方法积累带入推理与个人智能，让每次交互形成的经验改善后续决策。
论文与资料
- Nature Communications Model Predictive Task Sampling for Efficient and Robust Adaptation. 模型预测任务采样的理论基础工作（发表于 Nature Communications；nature.com/articles/s41467-026-74004-0）。
- ICML-25 Fast and Robust: Task Sampling with Posterior and Diversity Synergies for Adaptive Decision-Makers in Randomized Environments. 后验与多样性协同的任务采样，面向随机化环境中的自适应决策者。
- KDD-25 Robust Fast Adaptation from Adversarially Explicit Task Distribution Generation. 基于对抗式显式任务分布生成的鲁棒快速适应。
- NeurIPS-26 Bridging Risk Approximation Gaps in Model Predictive Task Sampling via In-Context Modeling. 以上下文建模弥合模型预测任务采样中的风险近似误差。
- KDD-26 Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? 即 MoPPS：在线预测 prompt 难度以加速推理模型的 RL 微调（arXiv:2507.04632）。
- ICLR-26 Dynamics-Predictive Sampling for Active RL Finetuning of Large Reasoning Models. 动力学预测采样，用于大推理模型的主动强化学习微调。
- ICML-26 Small Generalizable Prompt Predictive Models Can Steer Efficient RL Post-Training of Large Reasoning Models. 即 GPS：小型可泛化的 prompt 预测模型引导大推理模型的高效后训练。
- ICML-26 Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning. 即 UDS：效用-多样性感知的在线批次选择，用于大模型监督微调。
- arXiv RLVR without Ineffective Samples: Group Prioritized Off-Policy Optimization for LLM Reasoning. 即 POPO：面向大模型推理的分组优先离策略优化，剔除无效样本以提升 RLVR 效率。
- NeurIPS-26 Listwise Policy Optimization: Group-based RLVR as Target-Projection on the LLM Response Simplex. 即 LPO：列表式策略优化，把分组 RLVR 视作大模型响应单纯形上的目标投影。
- EMNLP-26 TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning. 面向高效智能体强化学习的统一 rollout 预算分配框架（arXiv:2606.11119）。
- arXiv You Only Edit Once: Incentivizing In-Context Capability of LLMs via Local Demonstration Refinement. 即 YOEO：通过局部示例修正激发大模型的上下文学习能力。
- NeurIPS-25 FlyLoRA: Boosting Task Decoupling and Parameter Efficiency via Implicit Rank-Wise Mixture-of-Experts. 通过隐式按秩混合专家提升任务解耦与参数效率的高效微调方法。