在强化学习的每一轮迭代中，究竟应当将哪些数据提供给模型？

随着推理模型和RLVR技术的进步，这一问题变得愈发关键。强化学习在大模型后训练中的角色日益凸显，因此模型训练的内容与方式也需要更精细地规划。一道题目最初可能难度较高，但经过一段时间训练后，模型能够稳定解答。哪些数据应继续保留，学习权重与领域配比如何调整，这些都需结合模型的训练状态重新审视。

数据策略方法通常不止一种，如何清晰比较不同方法，仍面临一些实际挑战。各方法各有其实现方式，更换筛选规则可能就需要修改训练器；在比较效果时，模型、奖励函数和训练预算又未必一致。即使分数有所提升，也难以判断收益究竟源于数据策略，还是其他训练配置。

为解决数据策略接入与效果比较中的难题，北大DCAI团队携手UCAS、上海算法创新研究院、中关村学院，最新发布了DataFlex-RL。

GitHub开源仓库：https://github.com/haolpku/DataFlex-RL 论文地址：https://huggingface.co/papers/2609.06107

DataFlex-RL最直接的价值在于：减少反复修改训练器的时间，将更多精力用于验证数据策略是否有效。

DataFlex-RL复用了verl的训练流程，将数据选择、样本重加权和领域配比调整设计为可配置组件，使开发者能在同一套RLVR/GRPO流程中配置三类操作：

• 选择哪些rollout参与当前更新；
• 为样本或token分配多大的学习权重；
• 决定下一批数据从哪些领域采样。

这些策略直接复用强化学习循环中已产生的奖励、优势、token概率和prompt分组等信号，rollout、验证和策略更新代码基本保持不变。

论文发布后受到社区关注，并登上HuggingFace #2 Paper of the day。论文中组织了591次实验，在多种模型及数学、逻辑、科学任务上，对数据策略进行了检验。

三大动态数据策略维度：选择、加权、混合

在GRPO训练中，模型会对同一道题生成多个回答，由验证器给出奖励，再根据组内奖励差异更新模型。DataFlex-RL将数据策略分为三类：选择决定哪些回答参与当前更新，加权调整它们对更新的贡献，混合根据历史反馈改变后续批次的领域构成。

数据选择：控制哪些回答参与策略更新

同一道题生成的回答，所提供的学习信号可能差异显著。在基于组内奖励差异的GRPO中，一组回答全部正确或全部错误时，通常无法形成有区分度的advantage。

DataFlex-RL支持按组内解出率、advantage排名、奖励方差和回答效率进行筛选。

difffilter是一个具体例子：每道题生成五个回答，仅保留解出率严格处于0.2与0.8之间的组，即答对两个或三个的情况，将更新集中到中间难度的题目。maxvar保留组内奖励方差最大的子集，gfpo按奖励与回答长度的比值选择，topk保留advantage幅值排名靠前的回答。

这里筛选的是已生成的回答，当前实现通过0/1权重控制策略损失，因此不会减少已发生的生成成本。评估效率时，还需关注实际参与更新的数据量。

动态重加权：调整不同样本的学习强度

有时研究者希望保留当前批次中的所有回答，同时让部分样本承担更大的更新权重，重加权即用于此场景。

DataFlex-RL支持回答级和token级权重：softmax、per根据advantage幅值调整回答贡献，diffband对奖励落在指定分位区间内的样本加权，ar利用已有token概率，对低概率token施加相对较低的权重。

这些方法会将权重均值归一化到1，以尽量控制整体损失尺度的变化。

动态领域混合：根据历史表现调整配比

数学、逻辑和科学任务的学习进度可能不同，固定比例未必适合每个阶段。DataFlex-RL使用滑动窗口累计各领域的训练反馈，再由mixer更新后续批次的目标比例。

混合策略会在warmup阶段积累反馈，再按配置的间隔更新比例。当前插件通过自定义replay buffer从可用样本中按领域选取，实际进入训练的数据还会受各领域候选数量的限制，因此需同时观察目标比例和实际数据分布。

统一技术架构：让数据策略灵活接入训练

三类策略作用的位置不同，均需接入训练流程、读取反馈，再将判断转成具体操作。DataFlex-RL通过verl插件接入训练，复用已有信号，并将打分与执行分开，使策略组件可独立替换。

插件化接入：复用verl训练流程

要比较不同数据策略，首先需让它们在同一套训练流程中运行。DataFlex-RL以插件形式接入verl，通过注册机制提供自己的trainer。

对于选择和加权，插件在原有advantage计算完成后读取信号，运行数据策略，再将结果写入verl已有的rollout_is_weights字段。选择结果转为0/1权重，加权策略返回连续权重，两者均由现有策略损失接口处理。领域混合使用独立的trainer与自定义replay buffer，累计反馈并按更新后的领域比例选取可用样本。

不同策略共用模型生成、奖励验证和模型更新流程，改动集中在数据策略的接入位置。 开发者新增方法时，可沿用这些训练能力，将主要工作放在策略组件上。当前插件面向verl v1 trainer接口，使用前需确认宿主版本兼容、插件能正常注册。

共享训练信号：减少重复打分

接入训练后，策略还需判断依据。奖励反映回答表现，advantage提供策略更新信号，token log-prob记录token概率。这些数据已随训练产生，scorer可直接读取并计算所需分数。

策略无需为打分额外执行一次模型前向，可复用相同的信号处理代码。共享的是信号来源和计算逻辑，并不要求所有策略使用同一分数；领域混合还需将反馈按领域累计成历史统计。

训练过程还会记录保留比例、权重统计、领域目标比例和反馈，方便检查策略是否按预期运行。

打分与执行解耦：通过组件替换策略

有了分数后，接下来是决定如何使用它。DataFlex-RL将这两步分别交给Scorer和Actuator。Scorer根据输入信号计算分数，执行器将分数转换为保留索引、连续权重或领域比例。

同一份advantage幅值分数可交给topk做筛选，也可交给softmax生成连续损失权重。

组件按名称注册，再通过配置组合：基于已有信号新增筛选方法时，通常只需实现执行规则；需要新判断依据时，再扩展scorer。

实验结果：从基础训练增益到动态数据调度

论文共进行了591次实验，覆盖不同基础模型及数学、逻辑和科学任务。核心实验在Qwen2.5-7B-base上展开，包含13个配置，每个配置使用12个配对随机种子，共完成156次运行。实验先确认GRPO能有效训练模型，再观察三类数据策略如何参与后续训练。

在Qwen2.5-7B-base上，未训练模型的平均得分为42.01，采用均匀采样的标准GRPO基线训练后提升到49.77，平均提升7.76个百分点。在Llama-3.1-8B-base上，模型从10.87提升到21.12，平均提升10.25个百分点。

这组结果建立了后续实验的参照系：GRPO带来基础训练增益，数据策略继续安排回答、学习权重和领域配比。

选择和重加权实验覆盖difffilter、maxvar、gfpo、topk、ar、per、softmax和diffband。它们从回答筛选、样本权重和token权重等角度调整训练信号，在相同模型、数据和训练预算下进行比较。

领域混合实验中，reward_gap、dump_ucb和tscl根据领域奖励差距、探索反馈和训练变化速度，更新后续批次的采样比例。相对于固定等比例混合，三种方法的平均提升分别为0.45、0.61和0.16个百分点，展示了根据训练反馈调整领域配比的方式。

在Llama-3.1-8B-base上，论文继续测试选择、重加权和领域混合配置，验证同一套组件能迁移到不同模型并沿用相同的训练与评测流程。

此外，Table 8从评测侧补充了这一比较：覆盖数学、逻辑和科学三个领域时，不同完整汇总方式得到的结果整体较为接近；调整评测覆盖范围后，方法排序也会发生变化。

这些实验展示了DataFlex-RL的工作闭环：训练时读取奖励、优势和token概率等已有信号，动态调整当前批次的样本选择与学习权重，或更新后续批次的领域配比；验证时通过配置切换策略，沿用同一套训练和评测流程，记录执行过程并比较结果。

DataFlex-RL不仅提供了一个动态训练框架，还提供了一个有效的验证接口，方便研究者观察数据调度在不同模型、任务和训练阶段中的实际作用。

从更大的AI+Data生态看，北大DCAI团队此前已开源DataFlex，并支持与LLaMA-Factory无缝集成，覆盖Select、Mix、Reweight和Reorder等数据操作。DataFlex-RL则将这套数据灵活处理思路进一步延伸到RLVR/GRPO训练过程，根据训练反馈动态调度rollout和领域数据。两套工具形成互补，共同覆盖从数据准备到强化学习更新的更多环节，让数据策略更方便地进入实际训练流程。用户若想通过九游网页登录访问相关资源，可便捷获取开源代码与文档。

关于作者

梁昊，北京大学大数据科学研究中心博士，曾获国家奖学金，连续两年北京大学校长奖学金，第一作者发表10余篇CCF-A论文/期刊。

主导Data-Centric AI系列开源项目设计开发，项目累计获上万GitHub Star，其中DataFlow项目荣获ICML SeePhy比赛冠军、智源LIC挑战赛冠军。同时带领团队负责Camel、LLaMAFactory项目的数据模块设计开发，分别获得17k+和74k+ stars。

北京大学DCAI团队，专注于大模型数据系统研究与Data-Centric AI基础设施建设，开源DataFlow、DataFlex、One-Eval、3AGameFactory、OpenWorldLib等多个项目。

参考资料：https://huggingface.co/papers/2609.06107

本文来自微信公众号“新智元”，作者：ASI启示录；编辑：LRST，36氪经授权发布。