← Notes Agentic RL 理论笔记 GitHub
Theory Notes

Agentic RL 理论笔记

从一次更新到底发生了什么讲起,逐层深入到奖励设计、策略梯度、GRPO 的各项修正、多轮场景的特有难题,以及工程约束。前两部分不含公式。

2026-09 RLVR · Policy Gradient · GRPO · DAPO · Multi-turn
Part 00

全貌与主线

进入细节之前,先知道细节是为了解决什么

0.1 从"生成文本"到"在环境中行动"

监督信号信号密度
预训练 / SFT标准答案,每个 token 都知道"这里该是什么"每 token 一个
RL没有标准答案。模型自己产出,外部只给一个"好不好"整条输出一个标量
Agentic RL同上,但模型可以调工具、看返回、再决定下一步整条轨迹一个标量

从 SFT 到 RL,损失的是信号密度:每个 token 的监督变成整段话一个数字。RL 的全部难度,都来自"如何用极稀疏的信号做有效更新"。

从 RL 到 Agentic RL,多出来的是轨迹里混入了不由模型产生的内容——工具返回、环境报错。这一条是 agentic RL 几乎所有独有问题的源头:loss 该算在哪些 token 上、多轮之中谁为结果负责、轨迹半途坏掉怎么办。

0.2 一次 RL 更新的循环

一批 prompt
   │
   ├─① rollout    模型生成。agent 场景下是"生成 → 调工具 → 读返回 → 再生成"的多轮过程
   ├─② 打分       对每条完整轨迹给一个标量 reward
   ├─③ 折算       把标量摊到轨迹里每一个 token 上,得到 advantage
   ├─④ 更新       一次梯度步
   └─⑤ 同步       把新权重推给推理引擎,供下一轮 rollout
   │
(回到开头)

五步各有独立的失败模式:② 是分数不可信,③ 是梯度方向错误,④ 是训练发散,⑤ 是数据与策略脱节。

0.3 贯穿全文的三个问题

问题具体是什么在哪讲
① 分数从哪来谁来判断好不好?判断可靠吗?能不能不解决问题就骗到分?Part 2
② 分数怎么变成梯度一个标量怎么摊到几千个 token、若干个轮次上?摊错了会怎样?Part 3、4、5
③ 怎么让它不崩一步能走多远?探索怎么维持?显存和吞吐够不够?Part 4、6

三者是递进依赖:分数不可信则后面全空;分数摊错则训练看似在动、实则在学错东西;前两者都对,还可能死在稳定性和显存上。后文每一部分标题下标注它在回答哪一个。

只想知道大概:读 Part 0、1。想搞懂算法:加 Part 3、4。要动手训练:Part 5、6 会反复回来查。

Part 01

先建立直觉

用一道题、八次采样,把一轮 GRPO 走一遍

主线 ② 分数怎么变成梯度

1.1 一道题,八次尝试

拿一道有明确对错的题,让模型对同一道题采样 8 次。采样有随机性,假设 3 次对、5 次错。

采样:8 条回复
打分:3 条对(reward = 1),5 条错(reward = 0)
平均:0.375
GRPO 的全部直觉

比这 8 次的平均水平好的,推高;比平均差的,压低。好或差多少,按差值成比例。

3 条对的:比平均好 0.625,推高。5 条错的:比平均差 0.375,压低。

"推高一条回复"是指提高这条回复里每一个 token 被生成的概率。这就是一轮 GRPO 更新的核心。

1.2 为什么必须减掉平均

假设不减平均,直接用 reward 当权重:对的 3 条各推高 1 个单位,错的 5 条推高 0——没有任何一条被压低,模型学不到区分。如果打分是 0.6 和 0.9 这种,则所有轨迹都被推高,梯度里绝大部分是与好坏无关的共同偏移。

减掉平均后,信号变成相对的:只有超过"我自己当前水平"的才被强化。被减掉的量叫 baseline,减完的结果叫 advantage。

记住这句话

Advantage 的物理意义:这条回复比"我自己在这道题上的平均水平"好多少。 后面所有算法的差异,本质上都是如何估计这个平均水平的差异。

1.3 三个立刻出现的麻烦

麻烦问题后文
8 条全对或全错平均值等于每一条,advantage 全是 0,采样 8 次换回零梯度4.5
几千个 token 凭什么同等担责推理链里可能只有一步关键。多轮更严重:5 轮里哪一轮该背锅?5.5
不解决问题也能拿到分模型优化的是你写下的规则,不是你心里的目标。规则有缝,它一定会找到2.5

第三个最先需要回答——分数不可信,后面讨论"怎么用分数"就没有意义。

Part 02

奖励:分数从哪来

判断依据是否可信,决定了后面一切是否有意义

主线 ① 分数从哪来

2.1 RLVR:用程序判分

Reinforcement Learning with Verifiable Rewards:奖励来自确定性的、可程序化执行的验证——数学答案是否等价、代码是否通过测试、工具调用是否达成目标状态。它成为主流的原因:

  • 不需要奖励模型:省一个同量级模型,也省偏好标注。
  • 信号可无限扩展:有多少可验证的题就有多少信号。
  • 漏洞可见:奖励仍可能被钻空子,但漏洞在你写的验证逻辑里,可查可修;奖励模型的漏洞藏在黑箱参数中。
  • 与 group-based 方法契合:0/1 奖励加组内归一化,信噪比高。

2.2 与偏好类方法的分界

RLVRRLHF / DPO
奖励来源程序验证人类偏好(经奖励模型,或 DPO 隐式建模)
是否需要 RM否是(DPO 将其隐式化)
适用任务有客观对错:数学、代码、工具调用无客观对错:有用性、安全性、风格
主要风险验证逻辑定义上的漏洞RM 过拟合、分布外失效
KL 约束常可去掉(4.8)通常必须保留

两者互补而非竞争。工业界的完整流程通常是 SFT → RLVR(硬能力)→ 偏好对齐(风格与安全)。

2.3 验证器设计的三个维度

等价性:什么算"对"

同一正确答案有多种表达:\(\tfrac{1}{2}\) 与 \(0.5\),不同但等效的代码实现,不同连接顺序的查询。验证器必须显式定义等价类。两类误差方向相反:文本/结构匹配把等价写法判错,系统性低估;执行结果匹配因数据巧合把错误答案判对,系统性高估。两者都会被模型利用。

严格性

过宽,模型钻空子;过严,正确答案被判错,等价于注入标签噪声,且压低组内奖励方差(见 4.5)。严格性必须在训练前冻结,中途修改会让前后数字不可比。

速度

训练验证器与评测验证器是两套东西

严谨的评测套件很慢,而训练中验证器被调用 batch × G × 轮数 次,每步数千次。把评测套件放进 rollout 循环会让吞吐塌掉。正确做法是两套实现,但必须在子集上校验两者结论一致——训练验证器比评测宽松,模型就在朝一个注定被判错的方向优化,而曲线上看不出来。

2.4 Goodhart 定律

模型优化的是你写下的奖励函数,不是你心里想的目标。 两者之间的任何缝隙都会被找到,优化压力越大暴露越彻底。Reward shaping——为加速收敛添加中间奖励项——是缝隙的主要来源:

目标:希望 agent 高效完成任务
做法:对每次工具调用施加固定负奖励

实际学到的:调用有成本 → 少调用 → 不调用 → 凭猜测给答案

观察到的:平均轮数 ↓、调用率 ↓、错误恢复率 ↓
         总成功率可能几乎不变 —— 主曲线上看不出问题

根源是惩罚了行为而非结果。

加 shaping 项之前的唯一检查

模型能不能在不解决任务的前提下拿到它? 如果能,它一定会。

2.5 Reward Hacking 的常见形态

  • 等价类漏洞:构造"技术上通过验证但没解决问题"的输出,如针对测试用例特判。
  • 答案分布先验:答案空间小或分布不均时,猜测的期望收益高于推理。
  • 抽取逻辑:答案用正则提取("取最后一个代码块"),模型学会输出多个候选碰运气。抽取逻辑本身就是奖励函数的一部分。
  • 长度的间接奖励:损失归一化让长的错误回复受罚更轻,模型发现"写长一点"有利。机制见 4.7。
  • 用环境反馈碰运气:多轮特有。不断试探直到某次"看起来可行",终点奖励上与真正理解不可区分,但暴露在平均轮数上升、首轮成功率停滞上。
防御

不是穷举漏洞,而是建立能暴露 hacking 的观测:同时监控长度、轮数、调用率、格式合法率,定期人工读完整轨迹。Hacking 几乎总是先表现为行为分布漂移,主指标滞后甚至不动。

Part 03

形式化:策略梯度

把 Part 1 的直觉变成公式,并证明"减平均"是合法的

主线 ② 分数怎么变成梯度

核心只有一个恒等式,它证明"减掉平均"不带来偏差。记号见附录。

3.1 两种视角

给定 prompt \(x\),模型自回归地产生 \(y = (y_1, \dots, y_{|y|})\)。两种建模方式,公式形式取决于选哪一种。

token-level MDP

每个 token 是一个动作,状态是到目前为止的上下文:

\[ s_t = (x, y_{<t}), \qquad a_t = y_t, \qquad s_{t+1} = (x,\, y_{<t} \oplus y_t) \]

状态转移确定(拼接一个 token),奖励只在终止时给出。

sequence-level bandit

整条回复是一个动作,一步决策,一次奖励:

\[ a = y \sim \pi_\theta(\cdot \mid x), \qquad r = R(x, y) \]
为什么 RLVR 文献默认后者

奖励只在序列末尾产生,中间 token 没有真实的即时奖励。引入 token 级值函数 \(V(s_t)\) 是在估计一个由稀疏信号支撑、本质上估不准的量。代价是放弃 token 级 credit 分辨率——这在多轮场景会重新变成必须处理的问题(5.5)。

本文默认 sequence-level,只在 GAE 和 token 级归一化处切回 token-level。

3.2 目标函数与 REINFORCE

\[ J(\theta) \;=\; \mathbb{E}_{x \sim \mathcal{D},\; y \sim \pi_\theta(\cdot \mid x)} \big[\, R(x, y) \,\big] \]

\(\theta\) 出现在采样分布里,而不是被求期望的函数里——这是与监督学习的根本区别,也是后面重要性采样、信任域、训练崩溃的全部来源。

用 log-derivative trick \(\nabla_\theta \pi_\theta = \pi_\theta \nabla_\theta \log \pi_\theta\):

\[ \nabla_\theta J = \nabla_\theta \sum_y \pi_\theta(y\mid x) R(x,y) = \sum_y \pi_\theta(y\mid x)\, R(x,y)\, \nabla_\theta \log \pi_\theta(y \mid x) \] \[ \nabla_\theta J = \mathbb{E}\big[\, R(x,y)\, \nabla_\theta \log \pi_\theta(y\mid x) \,\big], \qquad \log \pi_\theta(y \mid x) = \sum_{t=1}^{|y|} \log \pi_\theta(y_t \mid x, y_{<t}) \]

这就是 REINFORCE——Part 1 那句话的数学形式。它无偏,但方差大到不能直接用,原因即 1.2:梯度幅度被 \(R\) 的绝对值支配。

多轮的伏笔

\(\sum_t\) 只对策略生成的 token 求。环境返回的 token 根本不在这个式子里——5.3 会严格推。

3.3 Baseline 定理

对任意不依赖 \(y\) 的 \(b(x)\):

\[ \begin{aligned} \mathbb{E}_{y\sim\pi_\theta}\big[\, b(x)\, \nabla_\theta \log \pi_\theta(y\mid x) \,\big] &= b(x) \sum_y \pi_\theta(y\mid x)\, \nabla_\theta \log \pi_\theta(y\mid x) \\[4pt] &= b(x) \sum_y \nabla_\theta \pi_\theta(y \mid x) &&\text{(}\pi \nabla \log \pi = \nabla \pi\text{)} \\[4pt] &= b(x)\, \nabla_\theta \Big( \sum_y \pi_\theta(y\mid x) \Big) &&\text{(求和与求导交换)} \\[4pt] &= b(x)\, \nabla_\theta (1) \;=\; 0 &&\text{(概率归一)} \end{aligned} \]

期望为零,所以减掉它不改变梯度期望,只降低方差:

\[ \nabla_\theta J = \mathbb{E}\big[\, \underbrace{\big(R(x,y) - b(x)\big)}_{\text{advantage } A} \, \nabla_\theta \log \pi_\theta(y\mid x) \,\big] \]

方差最小的 \(b(x)\) 大致是当前策略在该 prompt 上的期望回报,即 Part 1 的"8 次采样平均分":

\[ b^*(x) \approx V(x) = \mathbb{E}_{y \sim \pi_\theta}\big[ R(x,y) \big] \]

3.4 Actor-Critic 与 GAE

怎么得到 \(V(x)\)?函数拟合路线:训一个 critic \(V_\psi\) 回归 \(V\)。能给 token 级 advantage,但要多养一个同量级模型,且 critic 学不准会毒化 actor。

PPO 走这条路,用 GAE 在偏差与方差之间插值。定义 TD 残差 \(\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)\):

\[ \hat{A}^{\mathrm{GAE}(\gamma,\lambda)}_t = \sum_{l=0}^{\infty} (\gamma\lambda)^l\, \delta_{t+l} \]

\(\lambda = 0\) 是单步 TD(低方差、高偏差),\(\lambda = 1\) 是蒙特卡洛回报减 \(V\)(无偏、高方差)。GRPO 没有 GAE,但 \(\lambda\) 这个旋钮与 5.5 的折扣因子是同一类东西。

顺带:LLM RL 里 \(\gamma = 1\) 是默认——序列有限长,也不认为早写的 token 更值钱。\(\gamma\) 重新有意义是在多轮里被用作 credit assignment 的启发式,那时它表达的是"后面的轮次更该负责"这个先验,而非未来贬值。

3.5 两条估计路线

蒙特卡洛路线:不学 critic,对同一 \(x\) 多采几条,用均值当 \(V(x)\)。

PPO(函数拟合)GRPO(蒙特卡洛)
baseline 来源学习得到的 \(V_\psi(x)\)同一 prompt 的 \(G\) 条采样均值
额外模型需要,与 policy 同量级不需要
额外采样不需要\(G\) 倍
advantage 粒度token 级序列级
主要风险critic 毒化 actor组内无方差时零梯度(4.5)

推理与工具调用类任务上第二条已成主流——奖励本就只在终点,critic 提供的额外信息有限,成本却是实打实的。

Part 04

GRPO 及其修正

配置文件里每个你会调的数字,在这里都有一个机制解释

主线 ② 变成梯度  +  ③ 不让它崩

Part 3 要求 \(y\) 由当前策略采出。现实中 rollout 太贵,一批数据必须用于多次更新。这一部分全是"做不到之后的补丁"及其副作用。

4.1 重要性采样

一批数据只要做过一次更新,\(\theta\) 就变了,数据立刻 off-policy。修正:

\[ \mathbb{E}_{y \sim \pi_\theta}\big[ f(y) \big] = \mathbb{E}_{y \sim \pi_{\theta_{\text{old}}}} \left[ \frac{\pi_\theta(y)}{\pi_{\theta_{\text{old}}}(y)} f(y) \right] \] \[ r_t(\theta) = \frac{\pi_\theta(y_t \mid x, y_{<t})}{\pi_{\theta_{\text{old}}}(y_t \mid x, y_{<t})} \]
Rollout–Training Mismatch

训推分离下,rollout 由推理引擎产生、训练由训练框架执行,kernel 与数值精度不同,参数完全一致时两边的 logprob 也有微小差异。所以 \(\pi_{\theta_{\text{old}}}\) 要由训练框架重新 forward 得到,而不是直接用推理引擎返回的值,否则比值系统性偏离 1,长序列上累积成不稳定源。

4.2 信任域与 clip

比值可以任意大。\(\pi_\theta\) 离 \(\pi_{\theta_{\text{old}}}\) 太远时估计本身不可靠,梯度还被放大。需要限制"一步能走多远"。

TRPO 显式加约束:

\[ \max_\theta\; \mathbb{E}\left[ \frac{\pi_\theta}{\pi_{\theta_{\text{old}}}} A \right] \quad \text{s.t.} \quad \mathbb{E}\big[ \mathrm{KL}(\pi_{\theta_{\text{old}}} \,\|\, \pi_\theta) \big] \le \delta \]

需要二阶信息,工程笨重。PPO 用截断做一阶近似,把约束烘焙进目标:

\[ L^{\mathrm{CLIP}}(\theta) = \mathbb{E}\Big[ \min\big( r_t A_t,\; \mathrm{clip}(r_t,\, 1-\epsilon,\, 1+\epsilon)\, A_t \big) \Big] \]

不再保证严格信任域,但便宜、稳健、一阶可解。

4.3 为什么是 min 而不是直接 clip

情形意图clip 的效果
\(A > 0\)想提高概率\(r\) 涨到 \(1+\epsilon\) 即截断——不再奖励继续提高
\(A < 0\)想降低概率\(r\) 降到 \(1-\epsilon\) 即截断——不再奖励继续降低

\(\min\) 取较小者,构成悲观下界:截断只在"朝有利方向走过头"时生效,"走反了"时不生效。

具体:设 \(A > 0\),但因其他 token 的牵连 \(r\) 已掉到 \(1-\epsilon\) 以下——该推高的反而暴跌,我们希望梯度拉回来。此时未截断项 \(rA\) 较小,截断项 \((1-\epsilon)A\) 较大,\(\min\) 选中未截断项,梯度依然存在。直接用 clip 则梯度被错误归零,失去纠错能力。

4.4 GRPO 的完整目标函数

对同一 prompt 采 \(G\) 条,用组内统计量构造 advantage,并赋给该回复的每一个 token:

\[ A_i = \frac{R_i - \mathrm{mean}(\mathbf{R})}{\mathrm{std}(\mathbf{R})} \qquad\text{其中}\quad \mathrm{mean}(\mathbf{R}) = \frac{1}{G}\sum_{j=1}^{G} R_j \] \[ \mathcal{J}(\theta) = \mathbb{E}\left[ \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \min\Big( r_{i,t} A_i,\; \mathrm{clip}(r_{i,t}, 1-\epsilon, 1+\epsilon) A_i \Big) \;-\; \beta\, \mathbb{D}_{\mathrm{KL}}\big[\pi_\theta \,\|\, \pi_{\text{ref}}\big] \right] \]

后面所有改进改的都是 \(\epsilon\)、两层求和的分母、\(\beta\),以及 \(\{y_i\}\) 怎么来。

4.5 两个推论

推论 A:奖励无方差的 group 贡献零梯度

\[ R_1 = R_2 = \cdots = R_G \;\Longrightarrow\; R_i - \mathrm{mean}(\mathbf{R}) = 0 \;\;\forall i \;\Longrightarrow\; A_i = 0 \]
  • 学习信号只来自"模型半会不会"的样本。 全对和全错的题消耗了 \(G\) 次采样,换回零梯度。由此直接推出难度分层、按组内方差筛题,以及 DAPO 的 dynamic sampling(4.6)。
  • 这是"冷启动"的数学依据。 基座 pass rate 接近 0 时组内几乎全错,梯度恒为零。SFT 冷启动的作用不是让模型变强,而是把 pass rate 抬到有方差的区间,制造出非零信号。

推论 B:除以标准差引入偏差

Baseline 定理要求 \(b(x)\) 不依赖 \(y\)。组内均值近似满足(耦合引入 \(O(1/G)\) 偏差),但 \(\mathrm{std}(\mathbf{R})\) 直接依赖采样结果。效果是奖励方差小的题被放大权重:8 条里只对 1 条,那一条的 advantage 被除成异常大的数。Dr. GRPO 称之为 question-level difficulty bias。

4.6 DAPO 的四个修改

① Clip-Higher

把 \(\epsilon\) 拆成 \(\mathrm{clip}(r,\, 1-\epsilon_{\text{low}},\, 1+\epsilon_{\text{high}})\),调大上界。机制:当前概率 \(p\) 的 token,clip 后新概率最多 \((1+\epsilon)p\),绝对提升空间 \(\epsilon p\) 与当前概率成正比。取 \(\epsilon = 0.2\):

当前概率截断后上限绝对提升空间
0.010.012+0.002
0.91.08 → 1.0+0.1

低概率 token 是探索的来源,却被压制得最狠:

低概率 token 涨不上去
  → 概率质量向高概率 token 集中 → 熵坍缩
  → 组内 G 条几乎相同 → 奖励无方差 → 推论 A → 零梯度 → 停滞

下界不动——把 token 概率压到 0 是不可逆的。

② Dynamic Sampling

训练推进,越来越多 prompt 变成全对,有效 batch size 单调缩小:名义 256,实际产生梯度的可能只剩几十,且这个退化不监控就看不见。处方:过滤 accuracy 为 0 和 1 的 group,持续补采直到有效 prompt 数填满 batch。把"有效 prompt 数"作为独立曲线上报。

③ Token-Level Loss

原式 \(\frac{1}{G}\sum_i \frac{1}{|y_i|}\sum_t\) 先在样本内按长度平均,导致每条样本无论多长贡献相同:4000 token 回复里每个 token 的权重只有 100 token 回复的 \(1/40\)。长的错误回复所受惩罚被摊薄,模型学不到"别冗长地错下去"。处方是全批次 token 总数做分母:

\[ \mathcal{J}(\theta) = \mathbb{E}\left[ \frac{1}{\sum_{i=1}^{G}|y_i|} \sum_{i=1}^{G} \sum_{t=1}^{|y_i|} \min\Big( r_{i,t} A_i,\; \mathrm{clip}(r_{i,t}, 1-\epsilon_{\text{low}}, 1+\epsilon_{\text{high}}) A_i \Big) \right] \]

④ Overlong Reward Shaping

达到 max_length 被截断的样本判为错,但它可能推理正确只是太长——这是纯粹的奖励噪声。处方:overlong filtering 屏蔽其 loss,或 soft punishment 在接近上限的区间渐进惩罚。

4.7 Dr. GRPO 的两个偏差

偏差来源后果
response-level length bias分母 \(1/|y_i|\)对 \(A < 0\) 的样本,越长每 token 惩罚越轻,模型通过把错误答案写长减少受罚——即 2.5 长度 hacking 的机制
question-level difficulty bias除以 \(\mathrm{std}(\mathbf{R})\)方差小的题 advantage 被放大(推论 B)

处方:分母换常数(如 \(\mathrm{max\_length}\)),去掉 std:\(A_i = R_i - \mathrm{mean}(\mathbf{R})\)。DAPO ③ 与 Dr. GRPO 第一条是同一问题的两种写法,都在解除按样本长度归一化造成的 token 权重失衡。

4.8 KL 正则:留还是去

GRPO 原文用 k3 估计器(无偏、恒非负、方差低),记 \(\rho = \pi_{\text{ref}}/\pi_\theta\):

\[ \hat{\mathbb{D}}_{\mathrm{KL}} = \rho - \log \rho - 1 \;\ge\; 0 \]
保留 KL(RLHF)去掉 KL(RLVR / DAPO)
理由奖励模型离开训练分布即不可靠,KL 把策略锚在参考模型附近,防止 exploit RM可验证奖励不可 exploit;且长链推理 RL 的目的本就是大幅偏离初始模型
代价限制策略能走多远信任域只剩 clip 一层,更易崩;通用能力可能退化
显存常驻参考模型 + 每步一次 forward省去
容易漏的一点

KL 有 KL-in-loss 与 KL-in-reward 两种加法,多数框架是两个独立开关。想真正关掉,两个都要关。

Part 05

多轮:Agentic 的部分

从"生成一段话"到"在环境中反复行动",技术上多了什么

主线 ② 分数怎么变成梯度(多轮版本)

5.1 多了什么

多出来的带来的问题在哪解决
轨迹中有环境产生的 tokenloss 该算在哪些位置5.3、5.4
一次奖励负责多个轮次哪一轮拿功劳、哪一轮背锅5.5、5.6
轨迹可能半途坏掉脏数据污染梯度5.7

5.2 轨迹结构

s₀  = system prompt + 任务描述              ← 环境给定
a₁  = 模型输出(推理 + 一次工具调用)         ← 策略产生 ★
o₁  = 工具执行结果 / 报错                    ← 环境返回
a₂  = 模型输出(读取 o₁ 后的修正)            ← 策略产生 ★
 ⋮
a_T = 最终答案 / 显式终止                    ← 策略产生 ★
R   = 对最终结果的验证                       ← 仅在终点给出一次

记第 \(k\) 轮结束时的完整历史为 \(h_k = (s_0, a_1, o_1, \dots, a_k, o_k)\)。带 ★ 的才是策略的动作。

5.3 Observation Masking 的严格推导

\[ P_\theta(\tau) = \rho(s_0) \prod_{k=1}^{T} \underbrace{\pi_\theta(a_k \mid h_{k-1})}_{\text{策略}} \cdot \underbrace{P_{\text{env}}(o_k \mid h_{k-1}, a_k)}_{\text{环境}} \] \[ \begin{aligned} \nabla_\theta \log P_\theta(\tau) &= \underbrace{\nabla_\theta \log \rho(s_0)}_{=\,0} + \sum_{k=1}^{T} \nabla_\theta \log \pi_\theta(a_k \mid h_{k-1}) + \sum_{k=1}^{T} \underbrace{\nabla_\theta \log P_{\text{env}}(o_k \mid h_{k-1}, a_k)}_{=\,0} \\[6pt] &= \sum_{k=1}^{T} \nabla_\theta \log \pi_\theta(a_k \mid h_{k-1}) \end{aligned} \]
结论

策略梯度中只有 action token 的对数概率。环境项不含 \(\theta\),求导后整项消失——不是"影响小可以忽略",是数学上根本不在式子里。

把 \(o\) 的 token 计入 loss,等价于用交叉熵拟合环境输出、权重为 advantage 的监督学习。advantage 为正时,模型被训练去背诵工具的返回内容。曲线看起来在动,学的是错的东西。

5.4 Mask 的构造与验证

loss_mask 与 input_ids 等长:策略生成的 token 记 1,其余全部记 0——system prompt、任务描述、工具返回、chat template 的固定部分。重要性比值 \(r_t\) 与 4.6 ③ 的分母 \(\sum_i |y_i|\) 也只在 mask 为 1 处计算,这是最容易遗漏的一处。

必做的验证

Mask 错误不报错、不崩溃、训练照常,只是学的东西是错的,只能人工核对:

  1. Dump 一条完整轨迹的 input_ids 与 loss_mask。
  2. 把 mask 为 1 与为 0 的段分别 decode 打印。
  3. 确认 mask 为 1 的段里只有模型生成的内容,一个字节的工具返回都不许有。
  4. 检查 chat template 边界:<|im_start|>assistant\n 应为 0,<|im_end|> 通常为 1。约定因实现而异,但必须清楚自己是哪种。
  5. 把"mask 为 1 的占比"作为曲线上报。多轮下它应随轮数上升而下降。

5.5 Credit Assignment

奖励只在终点给一次,多轮之中谁负责?这是多轮 RL 的核心开放问题。

轨迹级

\[ A_{i,k} = A_i \qquad \forall k \in \{1,\dots,T\} \]

所有 action token 共享同一个 advantage,多数框架的默认。无偏,但 credit 分辨率为零:成功轨迹里第 1 轮的无用试探也被推高,失败轨迹里第 2 轮的正确诊断也被压低。

轮次级

\[ A_{i,k} = \gamma^{\,T-k} A_i, \qquad \gamma \in (0, 1] \]

有偏——\(\gamma\) 是启发式,没有真实分轮奖励支持;方差更低——早期轮次权重低,减少无关早期动作被强推。判据:任务里"最后一轮最关键"则折扣对;决定性的是第一轮的信息搜集则折扣错。

一句话

轨迹级把 credit 平摊(无偏、高方差);轮次级按先验重新分配(有偏、低方差)。哪个好取决于任务里 credit 的真实分布,是经验问题——值得做消融,不值得查文献抄结论。

5.6 稀疏奖励的稠密化

折扣回传是在"猜"。更有原则的做法是为中间轮次找真正可验证的信号:调用格式是否合法、是否成功执行、返回是否非空、是否重复上一轮、是否朝终止推进。这些不需要知道最终答案就能判定,让每一轮能构造自己的 baseline。风险:每引入一个中间信号,就引入一个可被 hack 的目标(2.4)。

5.7 异常轨迹

多轮 rollout 稳定产生不完整轨迹:解析失败(提取不到合法调用)、超轮次、长度截断。放任不管等于让脏轨迹参与梯度。

处理后果
直接丢弃最干净,但改变批次的有效分布(幸存者偏差);丢多了批量塌陷
保留但屏蔽 loss不产生错误梯度,但该样本仍进 group 的奖励统计
固定负奖励明确传达"别这样",但设计不当直接制造 hacking(2.4)
监控比处理更重要

每类异常单独打计数器上报。训练崩溃时这几条曲线是第一手证据:截断率从 2% 跃升到 40%,直接指向长度暴涨,进而指向 4.6 ③④ 或 4.7。

5.8 多轮特有的评测指标

总成功率把"一次就对"和"错了能改对"混成一个数,而后者才是多轮训练的独特价值。

指标定义用途
错误恢复率首轮失败的样本中最终成功的比例"利用环境反馈的能力",多轮框架是否起作用的核心证据
首轮成功率第一次尝试即成功分离出单轮能力的提升
平均轮数终止前的平均交互次数下降可能是高效也可能是"不敢交互",须与调用率联合判读
工具调用成功率合法且成功执行的占比格式遵循与环境理解
关键诊断

总成功率上升但错误恢复率不变,说明提升全部来自首轮能力——你训的是一个更强的单轮模型,多轮框架没有产生额外价值。

Part 06

工程:让它跑起来

算法全对,仍然可能死在吞吐和显存上

主线 ③ 怎么让它不崩

6.1 训推分离

Rollout(生成)Train(更新)
计算模式自回归逐 token,批内长度参差一次 forward + backward,长度已知
瓶颈显存带宽、KV cache算力、优化器状态显存
关键技术continuous batching、paged attention分片、张量并行、混合精度
典型实现vLLM / SGLangFSDP / Megatron / DeepSpeed

用训练框架做生成慢一个数量级——没有 KV cache 管理和 continuous batching,短序列要陪最长的一起等。训推分离不是优化,是必需。 多轮场景下 rollout 占绝大部分墙钟时间,它的效率直接决定实验迭代速度。

6.2 权重同步

每步更新后权重必须推给推理引擎,否则下一批数据用的是过时策略,4.1 的比值大幅偏离 1,训练迅速劣化。

部署做法取舍
Co-located 共卡训练与推理分时共享 GPU,同步即显存内重新分片省卡,但两者显存须同时容纳,无法并行
Disaggregated 分离各占独立 GPU,集合通信广播权重可流水线化,需更多硬件

难点是两侧分片形态不一致:训练侧 FSDP 分片,推理侧要完整权重或张量并行切分。同步过程是 all-gather → 重新分片 → 载入,既是 bug 温床也是隐蔽的瓶颈。

6.3 On-policy 程度

严格 on-policy 是采一批、更新一次、重新采。实践中会把一批切成多个 mini-batch 多次更新以摊薄 rollout 成本,更新越多越 off-policy,clip 触发越频繁。

起步建议

ppo_epochs = 1、mini_batch_size = train_batch_size,每批只更新一次。最稳也最慢,先用它跑通,出问题时少一个变量要排除。

6.4 显存构成

参数量 \(P\),全参数、bf16 混合精度、AdamW 的静态占用:

组成精度字节 / 参数
模型权重bf162
梯度bf162
FP32 master weightsfp324
Adam \(m\)fp324
Adam \(v\)fp324
合计16
\[ M_{\text{static}} \approx 16 P \;\text{bytes} \]

代入 \(P = 1.5\times 10^9\):静态 24 GB。再加激活值、共卡时推理引擎的权重副本与 KV cache——24 GB 消费卡装不下 1.5B 全参数 RL。出路:优化器状态 CPU 卸载(省 \(12P\) 字节,代价是每步 PCIe 往返);LoRA(\(M \approx 2P + 14 P_a\),\(P_a \ll P\));换大卡。

CPU 卸载在 RL 里代价相对小:一步的墙钟被 rollout 主导,PCIe 传输被摊薄。同样的卸载在 SFT 里代价显著得多。

6.5 LoRA in RL

RL 阶段 LoRA 能逼近全参数,SFT 阶段通常不能。论证是信息量的量级差异:RL 每条轨迹只贡献约 1 bit,SFT 每个 token 都是完整监督。RL 本就不需要那么大的更新容量。三个条件缺一不可:秩要够(\(r=4\) 仍是瓶颈);作用在所有线性层包括 MLP,不只 \(q,v\)(最常被违反);学习率比全参数高约一个数量级。

6.6 序列长度:多轮场景真正的瓶颈

激活值显存 \(O(b \cdot L \cdot d \cdot n_{\text{layers}})\),注意力含 \(O(L^2)\)。多轮轨迹长度累加:

\[ L_{\text{total}} = L_{\text{prompt}} + \sum_{k=1}^{T} \big( L_{a_k} + L_{o_k} \big) \]

环境返回 \(L_{o_k}\) 只受截断策略控制,几轮下来轻易到 8k–16k。可控旋钮四个:

上下文构造        只注入必要信息
环境返回截断      行数 / 字段宽度 / 单元格字符数
轮数上限          T
响应长度硬上限     max_response_length + overlong 处理(4.6 ④)
顺序不能反

先估长度预算,再定模型规模与硬件。 多轮 RL 显存不足的直接原因通常是序列长度而非模型大小——3B 换 1.5B 只省几 GB 静态占用,一条 16k 轨迹的激活值可能是这个数字的数倍。

6.7 分布式与消费级硬件

RL 框架通常建在 Ray 之上,rollout worker、actor、reward 计算是可独立伸缩的角色,NCCL 承担参数同步。消费卡上有一类特定故障:驱动禁用了 GPU 间 P2P,多卡 NCCL 初始化挂死——进程停在 init_process_group 或第一次 all-reduce,不报错、不退出、无输出。

NCCL_P2P_DISABLE=1      # 消费级显卡首选
NCCL_IB_DISABLE=1       # 无 InfiniBand
NCCL_DEBUG=INFO         # 排障时打开

见到这个症状先试环境变量,不是代码问题。

Part 07

方法族的边界

这套方法不解决什么

方向是什么为何不在范围内
偏好类方法
(RM / RLHF / DPO)
从人类成对偏好学奖励模型,或直接用偏好数据优化信号来源是人类判断而非程序验证,核心挑战完全不同
大规模异步 off-policyrollout 与训练完全解耦,经验回放,容忍数据陈旧需要大集群才有意义,off-policy 修正是另一层次的问题
LLM 用户模拟器环境的一部分由另一个模型扮演环境不再是确定性可验证程序,奖励重新不可靠
长周期软件工程环境容器级 rollout,单条轨迹数十次文件操作与测试轨迹成本高出数个量级,重心从算法转向环境基础设施
过程奖励模型(PRM)对推理每一步打分需步骤级标注,且 PRM 自身可被 hack

如果资源不再是约束,最先该补的通常是环境的丰富度而非算法的复杂度。

附录

记号与文献

A. 记号表

符号含义
\(x \sim \mathcal{D}\)prompt,从数据分布采样
\(y\), \(y_t\), \(y_{<t}\)回复;第 \(t\) 个 token;前 \(t-1\) 个 token
\(\pi_\theta\)当前策略
\(\pi_{\theta_{\text{old}}}\)行为策略(采出这批数据的模型)
\(\pi_{\text{ref}}\)参考策略(通常是 RL 起点的 SFT 模型)
\(R(x,y)\)奖励函数
\(A\)advantage
\(V(x)\)当前策略在该 prompt 上的期望回报
\(G\)group size
\(\epsilon\)clip 范围
\(\beta\)KL 系数
\(\tau\)轨迹
\(a_k\), \(o_k\)第 \(k\) 轮的模型输出 / 环境返回
\(h_k\)第 \(k\) 轮结束时的完整历史
\(P\), \(P_a\)模型参数量 / LoRA adapter 参数量

B. 参考文献

  1. Williams, R. J. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 1992.(REINFORCE)
  2. Schulman, J. et al. Trust Region Policy Optimization. ICML 2015.
  3. Schulman, J. et al. High-Dimensional Continuous Control Using Generalized Advantage Estimation. ICLR 2016.(GAE)
  4. Schulman, J. et al. Proximal Policy Optimization Algorithms. arXiv:1707.06347, 2017.
  5. Schulman, J. Approximating KL Divergence. 2020.(k3 估计器)
  6. Ouyang, L. et al. Training language models to follow instructions with human feedback. NeurIPS 2022.(RLHF)
  7. Rafailov, R. et al. Direct Preference Optimization. NeurIPS 2023.
  8. Shao, Z. et al. DeepSeekMath. arXiv:2402.03300, 2024.(GRPO)
  9. DeepSeek-AI. DeepSeek-R1. 2025.
  10. Yu, Q. et al. DAPO: An Open-Source LLM Reinforcement Learning System at Scale. 2025.
  11. Liu, Z. et al. Understanding R1-Zero-Like Training: A Critical Perspective. 2025.(Dr. GRPO)
  12. Hu, E. et al. LoRA: Low-Rank Adaptation of Large Language Models. ICLR 2022.
  13. Rajbhandari, S. et al. ZeRO. SC 2020.
  14. Kwon, W. et al. Efficient Memory Management for LLM Serving with PagedAttention. SOSP 2023.(vLLM)
  15. Sheng, G. et al. HybridFlow: A Flexible and Efficient RLHF Framework. EuroSys 2025.(verl)
  16. Amodei, D. et al. Concrete Problems in AI Safety. arXiv:1606.06565, 2016.(reward hacking)