从一次更新到底发生了什么讲起,逐层深入到奖励设计、策略梯度、GRPO 的各项修正、多轮场景的特有难题,以及工程约束。前两部分不含公式。
进入细节之前,先知道细节是为了解决什么
| 监督信号 | 信号密度 | |
|---|---|---|
| 预训练 / SFT | 标准答案,每个 token 都知道"这里该是什么" | 每 token 一个 |
| RL | 没有标准答案。模型自己产出,外部只给一个"好不好" | 整条输出一个标量 |
| Agentic RL | 同上,但模型可以调工具、看返回、再决定下一步 | 整条轨迹一个标量 |
从 SFT 到 RL,损失的是信号密度:每个 token 的监督变成整段话一个数字。RL 的全部难度,都来自"如何用极稀疏的信号做有效更新"。
从 RL 到 Agentic RL,多出来的是轨迹里混入了不由模型产生的内容——工具返回、环境报错。这一条是 agentic RL 几乎所有独有问题的源头:loss 该算在哪些 token 上、多轮之中谁为结果负责、轨迹半途坏掉怎么办。
一批 prompt
│
├─① rollout 模型生成。agent 场景下是"生成 → 调工具 → 读返回 → 再生成"的多轮过程
├─② 打分 对每条完整轨迹给一个标量 reward
├─③ 折算 把标量摊到轨迹里每一个 token 上,得到 advantage
├─④ 更新 一次梯度步
└─⑤ 同步 把新权重推给推理引擎,供下一轮 rollout
│
(回到开头)
五步各有独立的失败模式:② 是分数不可信,③ 是梯度方向错误,④ 是训练发散,⑤ 是数据与策略脱节。
| 问题 | 具体是什么 | 在哪讲 |
|---|---|---|
| ① 分数从哪来 | 谁来判断好不好?判断可靠吗?能不能不解决问题就骗到分? | Part 2 |
| ② 分数怎么变成梯度 | 一个标量怎么摊到几千个 token、若干个轮次上?摊错了会怎样? | Part 3、4、5 |
| ③ 怎么让它不崩 | 一步能走多远?探索怎么维持?显存和吞吐够不够? | Part 4、6 |
三者是递进依赖:分数不可信则后面全空;分数摊错则训练看似在动、实则在学错东西;前两者都对,还可能死在稳定性和显存上。后文每一部分标题下标注它在回答哪一个。
只想知道大概:读 Part 0、1。想搞懂算法:加 Part 3、4。要动手训练:Part 5、6 会反复回来查。
用一道题、八次采样,把一轮 GRPO 走一遍
主线 ② 分数怎么变成梯度拿一道有明确对错的题,让模型对同一道题采样 8 次。采样有随机性,假设 3 次对、5 次错。
采样:8 条回复
打分:3 条对(reward = 1),5 条错(reward = 0)
平均:0.375
比这 8 次的平均水平好的,推高;比平均差的,压低。好或差多少,按差值成比例。
3 条对的:比平均好 0.625,推高。5 条错的:比平均差 0.375,压低。
"推高一条回复"是指提高这条回复里每一个 token 被生成的概率。这就是一轮 GRPO 更新的核心。
假设不减平均,直接用 reward 当权重:对的 3 条各推高 1 个单位,错的 5 条推高 0——没有任何一条被压低,模型学不到区分。如果打分是 0.6 和 0.9 这种,则所有轨迹都被推高,梯度里绝大部分是与好坏无关的共同偏移。
减掉平均后,信号变成相对的:只有超过"我自己当前水平"的才被强化。被减掉的量叫 baseline,减完的结果叫 advantage。
Advantage 的物理意义:这条回复比"我自己在这道题上的平均水平"好多少。 后面所有算法的差异,本质上都是如何估计这个平均水平的差异。
| 麻烦 | 问题 | 后文 |
|---|---|---|
| 8 条全对或全错 | 平均值等于每一条,advantage 全是 0,采样 8 次换回零梯度 | 4.5 |
| 几千个 token 凭什么同等担责 | 推理链里可能只有一步关键。多轮更严重:5 轮里哪一轮该背锅? | 5.5 |
| 不解决问题也能拿到分 | 模型优化的是你写下的规则,不是你心里的目标。规则有缝,它一定会找到 | 2.5 |
第三个最先需要回答——分数不可信,后面讨论"怎么用分数"就没有意义。
判断依据是否可信,决定了后面一切是否有意义
主线 ① 分数从哪来Reinforcement Learning with Verifiable Rewards:奖励来自确定性的、可程序化执行的验证——数学答案是否等价、代码是否通过测试、工具调用是否达成目标状态。它成为主流的原因:
| RLVR | RLHF / DPO | |
|---|---|---|
| 奖励来源 | 程序验证 | 人类偏好(经奖励模型,或 DPO 隐式建模) |
| 是否需要 RM | 否 | 是(DPO 将其隐式化) |
| 适用任务 | 有客观对错:数学、代码、工具调用 | 无客观对错:有用性、安全性、风格 |
| 主要风险 | 验证逻辑定义上的漏洞 | RM 过拟合、分布外失效 |
| KL 约束 | 常可去掉(4.8) | 通常必须保留 |
两者互补而非竞争。工业界的完整流程通常是 SFT → RLVR(硬能力)→ 偏好对齐(风格与安全)。
同一正确答案有多种表达:\(\tfrac{1}{2}\) 与 \(0.5\),不同但等效的代码实现,不同连接顺序的查询。验证器必须显式定义等价类。两类误差方向相反:文本/结构匹配把等价写法判错,系统性低估;执行结果匹配因数据巧合把错误答案判对,系统性高估。两者都会被模型利用。
过宽,模型钻空子;过严,正确答案被判错,等价于注入标签噪声,且压低组内奖励方差(见 4.5)。严格性必须在训练前冻结,中途修改会让前后数字不可比。
严谨的评测套件很慢,而训练中验证器被调用 batch × G × 轮数 次,每步数千次。把评测套件放进 rollout 循环会让吞吐塌掉。正确做法是两套实现,但必须在子集上校验两者结论一致——训练验证器比评测宽松,模型就在朝一个注定被判错的方向优化,而曲线上看不出来。
模型优化的是你写下的奖励函数,不是你心里想的目标。 两者之间的任何缝隙都会被找到,优化压力越大暴露越彻底。Reward shaping——为加速收敛添加中间奖励项——是缝隙的主要来源:
目标:希望 agent 高效完成任务
做法:对每次工具调用施加固定负奖励
实际学到的:调用有成本 → 少调用 → 不调用 → 凭猜测给答案
观察到的:平均轮数 ↓、调用率 ↓、错误恢复率 ↓
总成功率可能几乎不变 —— 主曲线上看不出问题
根源是惩罚了行为而非结果。
模型能不能在不解决任务的前提下拿到它? 如果能,它一定会。
不是穷举漏洞,而是建立能暴露 hacking 的观测:同时监控长度、轮数、调用率、格式合法率,定期人工读完整轨迹。Hacking 几乎总是先表现为行为分布漂移,主指标滞后甚至不动。
把 Part 1 的直觉变成公式,并证明"减平均"是合法的
主线 ② 分数怎么变成梯度核心只有一个恒等式,它证明"减掉平均"不带来偏差。记号见附录。
给定 prompt \(x\),模型自回归地产生 \(y = (y_1, \dots, y_{|y|})\)。两种建模方式,公式形式取决于选哪一种。
每个 token 是一个动作,状态是到目前为止的上下文:
\[ s_t = (x, y_{<t}), \qquad a_t = y_t, \qquad s_{t+1} = (x,\, y_{<t} \oplus y_t) \]状态转移确定(拼接一个 token),奖励只在终止时给出。
整条回复是一个动作,一步决策,一次奖励:
\[ a = y \sim \pi_\theta(\cdot \mid x), \qquad r = R(x, y) \]奖励只在序列末尾产生,中间 token 没有真实的即时奖励。引入 token 级值函数 \(V(s_t)\) 是在估计一个由稀疏信号支撑、本质上估不准的量。代价是放弃 token 级 credit 分辨率——这在多轮场景会重新变成必须处理的问题(5.5)。
本文默认 sequence-level,只在 GAE 和 token 级归一化处切回 token-level。
\(\theta\) 出现在采样分布里,而不是被求期望的函数里——这是与监督学习的根本区别,也是后面重要性采样、信任域、训练崩溃的全部来源。
用 log-derivative trick \(\nabla_\theta \pi_\theta = \pi_\theta \nabla_\theta \log \pi_\theta\):
\[ \nabla_\theta J = \nabla_\theta \sum_y \pi_\theta(y\mid x) R(x,y) = \sum_y \pi_\theta(y\mid x)\, R(x,y)\, \nabla_\theta \log \pi_\theta(y \mid x) \] \[ \nabla_\theta J = \mathbb{E}\big[\, R(x,y)\, \nabla_\theta \log \pi_\theta(y\mid x) \,\big], \qquad \log \pi_\theta(y \mid x) = \sum_{t=1}^{|y|} \log \pi_\theta(y_t \mid x, y_{<t}) \]这就是 REINFORCE——Part 1 那句话的数学形式。它无偏,但方差大到不能直接用,原因即 1.2:梯度幅度被 \(R\) 的绝对值支配。
\(\sum_t\) 只对策略生成的 token 求。环境返回的 token 根本不在这个式子里——5.3 会严格推。
对任意不依赖 \(y\) 的 \(b(x)\):
\[ \begin{aligned} \mathbb{E}_{y\sim\pi_\theta}\big[\, b(x)\, \nabla_\theta \log \pi_\theta(y\mid x) \,\big] &= b(x) \sum_y \pi_\theta(y\mid x)\, \nabla_\theta \log \pi_\theta(y\mid x) \\[4pt] &= b(x) \sum_y \nabla_\theta \pi_\theta(y \mid x) &&\text{(}\pi \nabla \log \pi = \nabla \pi\text{)} \\[4pt] &= b(x)\, \nabla_\theta \Big( \sum_y \pi_\theta(y\mid x) \Big) &&\text{(求和与求导交换)} \\[4pt] &= b(x)\, \nabla_\theta (1) \;=\; 0 &&\text{(概率归一)} \end{aligned} \]期望为零,所以减掉它不改变梯度期望,只降低方差:
\[ \nabla_\theta J = \mathbb{E}\big[\, \underbrace{\big(R(x,y) - b(x)\big)}_{\text{advantage } A} \, \nabla_\theta \log \pi_\theta(y\mid x) \,\big] \]方差最小的 \(b(x)\) 大致是当前策略在该 prompt 上的期望回报,即 Part 1 的"8 次采样平均分":
\[ b^*(x) \approx V(x) = \mathbb{E}_{y \sim \pi_\theta}\big[ R(x,y) \big] \]怎么得到 \(V(x)\)?函数拟合路线:训一个 critic \(V_\psi\) 回归 \(V\)。能给 token 级 advantage,但要多养一个同量级模型,且 critic 学不准会毒化 actor。
PPO 走这条路,用 GAE 在偏差与方差之间插值。定义 TD 残差 \(\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)\):
\[ \hat{A}^{\mathrm{GAE}(\gamma,\lambda)}_t = \sum_{l=0}^{\infty} (\gamma\lambda)^l\, \delta_{t+l} \]\(\lambda = 0\) 是单步 TD(低方差、高偏差),\(\lambda = 1\) 是蒙特卡洛回报减 \(V\)(无偏、高方差)。GRPO 没有 GAE,但 \(\lambda\) 这个旋钮与 5.5 的折扣因子是同一类东西。
顺带:LLM RL 里 \(\gamma = 1\) 是默认——序列有限长,也不认为早写的 token 更值钱。\(\gamma\) 重新有意义是在多轮里被用作 credit assignment 的启发式,那时它表达的是"后面的轮次更该负责"这个先验,而非未来贬值。
蒙特卡洛路线:不学 critic,对同一 \(x\) 多采几条,用均值当 \(V(x)\)。
| PPO(函数拟合) | GRPO(蒙特卡洛) | |
|---|---|---|
| baseline 来源 | 学习得到的 \(V_\psi(x)\) | 同一 prompt 的 \(G\) 条采样均值 |
| 额外模型 | 需要,与 policy 同量级 | 不需要 |
| 额外采样 | 不需要 | \(G\) 倍 |
| advantage 粒度 | token 级 | 序列级 |
| 主要风险 | critic 毒化 actor | 组内无方差时零梯度(4.5) |
推理与工具调用类任务上第二条已成主流——奖励本就只在终点,critic 提供的额外信息有限,成本却是实打实的。
配置文件里每个你会调的数字,在这里都有一个机制解释
主线 ② 变成梯度 + ③ 不让它崩Part 3 要求 \(y\) 由当前策略采出。现实中 rollout 太贵,一批数据必须用于多次更新。这一部分全是"做不到之后的补丁"及其副作用。
一批数据只要做过一次更新,\(\theta\) 就变了,数据立刻 off-policy。修正:
\[ \mathbb{E}_{y \sim \pi_\theta}\big[ f(y) \big] = \mathbb{E}_{y \sim \pi_{\theta_{\text{old}}}} \left[ \frac{\pi_\theta(y)}{\pi_{\theta_{\text{old}}}(y)} f(y) \right] \] \[ r_t(\theta) = \frac{\pi_\theta(y_t \mid x, y_{<t})}{\pi_{\theta_{\text{old}}}(y_t \mid x, y_{<t})} \]训推分离下,rollout 由推理引擎产生、训练由训练框架执行,kernel 与数值精度不同,参数完全一致时两边的 logprob 也有微小差异。所以 \(\pi_{\theta_{\text{old}}}\) 要由训练框架重新 forward 得到,而不是直接用推理引擎返回的值,否则比值系统性偏离 1,长序列上累积成不稳定源。
比值可以任意大。\(\pi_\theta\) 离 \(\pi_{\theta_{\text{old}}}\) 太远时估计本身不可靠,梯度还被放大。需要限制"一步能走多远"。
TRPO 显式加约束:
\[ \max_\theta\; \mathbb{E}\left[ \frac{\pi_\theta}{\pi_{\theta_{\text{old}}}} A \right] \quad \text{s.t.} \quad \mathbb{E}\big[ \mathrm{KL}(\pi_{\theta_{\text{old}}} \,\|\, \pi_\theta) \big] \le \delta \]需要二阶信息,工程笨重。PPO 用截断做一阶近似,把约束烘焙进目标:
\[ L^{\mathrm{CLIP}}(\theta) = \mathbb{E}\Big[ \min\big( r_t A_t,\; \mathrm{clip}(r_t,\, 1-\epsilon,\, 1+\epsilon)\, A_t \big) \Big] \]不再保证严格信任域,但便宜、稳健、一阶可解。
| 情形 | 意图 | clip 的效果 |
|---|---|---|
| \(A > 0\) | 想提高概率 | \(r\) 涨到 \(1+\epsilon\) 即截断——不再奖励继续提高 |
| \(A < 0\) | 想降低概率 | \(r\) 降到 \(1-\epsilon\) 即截断——不再奖励继续降低 |
\(\min\) 取较小者,构成悲观下界:截断只在"朝有利方向走过头"时生效,"走反了"时不生效。
具体:设 \(A > 0\),但因其他 token 的牵连 \(r\) 已掉到 \(1-\epsilon\) 以下——该推高的反而暴跌,我们希望梯度拉回来。此时未截断项 \(rA\) 较小,截断项 \((1-\epsilon)A\) 较大,\(\min\) 选中未截断项,梯度依然存在。直接用 clip 则梯度被错误归零,失去纠错能力。
对同一 prompt 采 \(G\) 条,用组内统计量构造 advantage,并赋给该回复的每一个 token:
\[ A_i = \frac{R_i - \mathrm{mean}(\mathbf{R})}{\mathrm{std}(\mathbf{R})} \qquad\text{其中}\quad \mathrm{mean}(\mathbf{R}) = \frac{1}{G}\sum_{j=1}^{G} R_j \] \[ \mathcal{J}(\theta) = \mathbb{E}\left[ \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \min\Big( r_{i,t} A_i,\; \mathrm{clip}(r_{i,t}, 1-\epsilon, 1+\epsilon) A_i \Big) \;-\; \beta\, \mathbb{D}_{\mathrm{KL}}\big[\pi_\theta \,\|\, \pi_{\text{ref}}\big] \right] \]后面所有改进改的都是 \(\epsilon\)、两层求和的分母、\(\beta\),以及 \(\{y_i\}\) 怎么来。
Baseline 定理要求 \(b(x)\) 不依赖 \(y\)。组内均值近似满足(耦合引入 \(O(1/G)\) 偏差),但 \(\mathrm{std}(\mathbf{R})\) 直接依赖采样结果。效果是奖励方差小的题被放大权重:8 条里只对 1 条,那一条的 advantage 被除成异常大的数。Dr. GRPO 称之为 question-level difficulty bias。
把 \(\epsilon\) 拆成 \(\mathrm{clip}(r,\, 1-\epsilon_{\text{low}},\, 1+\epsilon_{\text{high}})\),调大上界。机制:当前概率 \(p\) 的 token,clip 后新概率最多 \((1+\epsilon)p\),绝对提升空间 \(\epsilon p\) 与当前概率成正比。取 \(\epsilon = 0.2\):
| 当前概率 | 截断后上限 | 绝对提升空间 |
|---|---|---|
| 0.01 | 0.012 | +0.002 |
| 0.9 | 1.08 → 1.0 | +0.1 |
低概率 token 是探索的来源,却被压制得最狠:
低概率 token 涨不上去
→ 概率质量向高概率 token 集中 → 熵坍缩
→ 组内 G 条几乎相同 → 奖励无方差 → 推论 A → 零梯度 → 停滞
下界不动——把 token 概率压到 0 是不可逆的。
训练推进,越来越多 prompt 变成全对,有效 batch size 单调缩小:名义 256,实际产生梯度的可能只剩几十,且这个退化不监控就看不见。处方:过滤 accuracy 为 0 和 1 的 group,持续补采直到有效 prompt 数填满 batch。把"有效 prompt 数"作为独立曲线上报。
原式 \(\frac{1}{G}\sum_i \frac{1}{|y_i|}\sum_t\) 先在样本内按长度平均,导致每条样本无论多长贡献相同:4000 token 回复里每个 token 的权重只有 100 token 回复的 \(1/40\)。长的错误回复所受惩罚被摊薄,模型学不到"别冗长地错下去"。处方是全批次 token 总数做分母:
\[ \mathcal{J}(\theta) = \mathbb{E}\left[ \frac{1}{\sum_{i=1}^{G}|y_i|} \sum_{i=1}^{G} \sum_{t=1}^{|y_i|} \min\Big( r_{i,t} A_i,\; \mathrm{clip}(r_{i,t}, 1-\epsilon_{\text{low}}, 1+\epsilon_{\text{high}}) A_i \Big) \right] \]达到 max_length 被截断的样本判为错,但它可能推理正确只是太长——这是纯粹的奖励噪声。处方:overlong filtering 屏蔽其 loss,或 soft punishment 在接近上限的区间渐进惩罚。
| 偏差 | 来源 | 后果 |
|---|---|---|
| response-level length bias | 分母 \(1/|y_i|\) | 对 \(A < 0\) 的样本,越长每 token 惩罚越轻,模型通过把错误答案写长减少受罚——即 2.5 长度 hacking 的机制 |
| question-level difficulty bias | 除以 \(\mathrm{std}(\mathbf{R})\) | 方差小的题 advantage 被放大(推论 B) |
处方:分母换常数(如 \(\mathrm{max\_length}\)),去掉 std:\(A_i = R_i - \mathrm{mean}(\mathbf{R})\)。DAPO ③ 与 Dr. GRPO 第一条是同一问题的两种写法,都在解除按样本长度归一化造成的 token 权重失衡。
GRPO 原文用 k3 估计器(无偏、恒非负、方差低),记 \(\rho = \pi_{\text{ref}}/\pi_\theta\):
\[ \hat{\mathbb{D}}_{\mathrm{KL}} = \rho - \log \rho - 1 \;\ge\; 0 \]| 保留 KL(RLHF) | 去掉 KL(RLVR / DAPO) | |
|---|---|---|
| 理由 | 奖励模型离开训练分布即不可靠,KL 把策略锚在参考模型附近,防止 exploit RM | 可验证奖励不可 exploit;且长链推理 RL 的目的本就是大幅偏离初始模型 |
| 代价 | 限制策略能走多远 | 信任域只剩 clip 一层,更易崩;通用能力可能退化 |
| 显存 | 常驻参考模型 + 每步一次 forward | 省去 |
KL 有 KL-in-loss 与 KL-in-reward 两种加法,多数框架是两个独立开关。想真正关掉,两个都要关。
从"生成一段话"到"在环境中反复行动",技术上多了什么
主线 ② 分数怎么变成梯度(多轮版本)s₀ = system prompt + 任务描述 ← 环境给定
a₁ = 模型输出(推理 + 一次工具调用) ← 策略产生 ★
o₁ = 工具执行结果 / 报错 ← 环境返回
a₂ = 模型输出(读取 o₁ 后的修正) ← 策略产生 ★
⋮
a_T = 最终答案 / 显式终止 ← 策略产生 ★
R = 对最终结果的验证 ← 仅在终点给出一次
记第 \(k\) 轮结束时的完整历史为 \(h_k = (s_0, a_1, o_1, \dots, a_k, o_k)\)。带 ★ 的才是策略的动作。
策略梯度中只有 action token 的对数概率。环境项不含 \(\theta\),求导后整项消失——不是"影响小可以忽略",是数学上根本不在式子里。
把 \(o\) 的 token 计入 loss,等价于用交叉熵拟合环境输出、权重为 advantage 的监督学习。advantage 为正时,模型被训练去背诵工具的返回内容。曲线看起来在动,学的是错的东西。
loss_mask 与 input_ids 等长:策略生成的 token 记 1,其余全部记 0——system prompt、任务描述、工具返回、chat template 的固定部分。重要性比值 \(r_t\) 与 4.6 ③ 的分母 \(\sum_i |y_i|\) 也只在 mask 为 1 处计算,这是最容易遗漏的一处。
Mask 错误不报错、不崩溃、训练照常,只是学的东西是错的,只能人工核对:
input_ids 与 loss_mask。<|im_start|>assistant\n 应为 0,<|im_end|> 通常为 1。约定因实现而异,但必须清楚自己是哪种。奖励只在终点给一次,多轮之中谁负责?这是多轮 RL 的核心开放问题。
所有 action token 共享同一个 advantage,多数框架的默认。无偏,但 credit 分辨率为零:成功轨迹里第 1 轮的无用试探也被推高,失败轨迹里第 2 轮的正确诊断也被压低。
有偏——\(\gamma\) 是启发式,没有真实分轮奖励支持;方差更低——早期轮次权重低,减少无关早期动作被强推。判据:任务里"最后一轮最关键"则折扣对;决定性的是第一轮的信息搜集则折扣错。
轨迹级把 credit 平摊(无偏、高方差);轮次级按先验重新分配(有偏、低方差)。哪个好取决于任务里 credit 的真实分布,是经验问题——值得做消融,不值得查文献抄结论。
折扣回传是在"猜"。更有原则的做法是为中间轮次找真正可验证的信号:调用格式是否合法、是否成功执行、返回是否非空、是否重复上一轮、是否朝终止推进。这些不需要知道最终答案就能判定,让每一轮能构造自己的 baseline。风险:每引入一个中间信号,就引入一个可被 hack 的目标(2.4)。
多轮 rollout 稳定产生不完整轨迹:解析失败(提取不到合法调用)、超轮次、长度截断。放任不管等于让脏轨迹参与梯度。
| 处理 | 后果 |
|---|---|
| 直接丢弃 | 最干净,但改变批次的有效分布(幸存者偏差);丢多了批量塌陷 |
| 保留但屏蔽 loss | 不产生错误梯度,但该样本仍进 group 的奖励统计 |
| 固定负奖励 | 明确传达"别这样",但设计不当直接制造 hacking(2.4) |
总成功率把"一次就对"和"错了能改对"混成一个数,而后者才是多轮训练的独特价值。
| 指标 | 定义 | 用途 |
|---|---|---|
| 错误恢复率 | 首轮失败的样本中最终成功的比例 | "利用环境反馈的能力",多轮框架是否起作用的核心证据 |
| 首轮成功率 | 第一次尝试即成功 | 分离出单轮能力的提升 |
| 平均轮数 | 终止前的平均交互次数 | 下降可能是高效也可能是"不敢交互",须与调用率联合判读 |
| 工具调用成功率 | 合法且成功执行的占比 | 格式遵循与环境理解 |
总成功率上升但错误恢复率不变,说明提升全部来自首轮能力——你训的是一个更强的单轮模型,多轮框架没有产生额外价值。
算法全对,仍然可能死在吞吐和显存上
主线 ③ 怎么让它不崩| Rollout(生成) | Train(更新) | |
|---|---|---|
| 计算模式 | 自回归逐 token,批内长度参差 | 一次 forward + backward,长度已知 |
| 瓶颈 | 显存带宽、KV cache | 算力、优化器状态显存 |
| 关键技术 | continuous batching、paged attention | 分片、张量并行、混合精度 |
| 典型实现 | vLLM / SGLang | FSDP / Megatron / DeepSpeed |
用训练框架做生成慢一个数量级——没有 KV cache 管理和 continuous batching,短序列要陪最长的一起等。训推分离不是优化,是必需。 多轮场景下 rollout 占绝大部分墙钟时间,它的效率直接决定实验迭代速度。
每步更新后权重必须推给推理引擎,否则下一批数据用的是过时策略,4.1 的比值大幅偏离 1,训练迅速劣化。
| 部署 | 做法 | 取舍 |
|---|---|---|
| Co-located 共卡 | 训练与推理分时共享 GPU,同步即显存内重新分片 | 省卡,但两者显存须同时容纳,无法并行 |
| Disaggregated 分离 | 各占独立 GPU,集合通信广播权重 | 可流水线化,需更多硬件 |
难点是两侧分片形态不一致:训练侧 FSDP 分片,推理侧要完整权重或张量并行切分。同步过程是 all-gather → 重新分片 → 载入,既是 bug 温床也是隐蔽的瓶颈。
严格 on-policy 是采一批、更新一次、重新采。实践中会把一批切成多个 mini-batch 多次更新以摊薄 rollout 成本,更新越多越 off-policy,clip 触发越频繁。
ppo_epochs = 1、mini_batch_size = train_batch_size,每批只更新一次。最稳也最慢,先用它跑通,出问题时少一个变量要排除。
参数量 \(P\),全参数、bf16 混合精度、AdamW 的静态占用:
| 组成 | 精度 | 字节 / 参数 |
|---|---|---|
| 模型权重 | bf16 | 2 |
| 梯度 | bf16 | 2 |
| FP32 master weights | fp32 | 4 |
| Adam \(m\) | fp32 | 4 |
| Adam \(v\) | fp32 | 4 |
| 合计 | 16 |
代入 \(P = 1.5\times 10^9\):静态 24 GB。再加激活值、共卡时推理引擎的权重副本与 KV cache——24 GB 消费卡装不下 1.5B 全参数 RL。出路:优化器状态 CPU 卸载(省 \(12P\) 字节,代价是每步 PCIe 往返);LoRA(\(M \approx 2P + 14 P_a\),\(P_a \ll P\));换大卡。
CPU 卸载在 RL 里代价相对小:一步的墙钟被 rollout 主导,PCIe 传输被摊薄。同样的卸载在 SFT 里代价显著得多。
RL 阶段 LoRA 能逼近全参数,SFT 阶段通常不能。论证是信息量的量级差异:RL 每条轨迹只贡献约 1 bit,SFT 每个 token 都是完整监督。RL 本就不需要那么大的更新容量。三个条件缺一不可:秩要够(\(r=4\) 仍是瓶颈);作用在所有线性层包括 MLP,不只 \(q,v\)(最常被违反);学习率比全参数高约一个数量级。
激活值显存 \(O(b \cdot L \cdot d \cdot n_{\text{layers}})\),注意力含 \(O(L^2)\)。多轮轨迹长度累加:
\[ L_{\text{total}} = L_{\text{prompt}} + \sum_{k=1}^{T} \big( L_{a_k} + L_{o_k} \big) \]环境返回 \(L_{o_k}\) 只受截断策略控制,几轮下来轻易到 8k–16k。可控旋钮四个:
上下文构造 只注入必要信息
环境返回截断 行数 / 字段宽度 / 单元格字符数
轮数上限 T
响应长度硬上限 max_response_length + overlong 处理(4.6 ④)
先估长度预算,再定模型规模与硬件。 多轮 RL 显存不足的直接原因通常是序列长度而非模型大小——3B 换 1.5B 只省几 GB 静态占用,一条 16k 轨迹的激活值可能是这个数字的数倍。
RL 框架通常建在 Ray 之上,rollout worker、actor、reward 计算是可独立伸缩的角色,NCCL 承担参数同步。消费卡上有一类特定故障:驱动禁用了 GPU 间 P2P,多卡 NCCL 初始化挂死——进程停在 init_process_group 或第一次 all-reduce,不报错、不退出、无输出。
NCCL_P2P_DISABLE=1 # 消费级显卡首选
NCCL_IB_DISABLE=1 # 无 InfiniBand
NCCL_DEBUG=INFO # 排障时打开
见到这个症状先试环境变量,不是代码问题。
这套方法不解决什么
| 方向 | 是什么 | 为何不在范围内 |
|---|---|---|
| 偏好类方法 (RM / RLHF / DPO) | 从人类成对偏好学奖励模型,或直接用偏好数据优化 | 信号来源是人类判断而非程序验证,核心挑战完全不同 |
| 大规模异步 off-policy | rollout 与训练完全解耦,经验回放,容忍数据陈旧 | 需要大集群才有意义,off-policy 修正是另一层次的问题 |
| LLM 用户模拟器 | 环境的一部分由另一个模型扮演 | 环境不再是确定性可验证程序,奖励重新不可靠 |
| 长周期软件工程环境 | 容器级 rollout,单条轨迹数十次文件操作与测试 | 轨迹成本高出数个量级,重心从算法转向环境基础设施 |
| 过程奖励模型(PRM) | 对推理每一步打分 | 需步骤级标注,且 PRM 自身可被 hack |
如果资源不再是约束,最先该补的通常是环境的丰富度而非算法的复杂度。
| 符号 | 含义 |
|---|---|
| \(x \sim \mathcal{D}\) | prompt,从数据分布采样 |
| \(y\), \(y_t\), \(y_{<t}\) | 回复;第 \(t\) 个 token;前 \(t-1\) 个 token |
| \(\pi_\theta\) | 当前策略 |
| \(\pi_{\theta_{\text{old}}}\) | 行为策略(采出这批数据的模型) |
| \(\pi_{\text{ref}}\) | 参考策略(通常是 RL 起点的 SFT 模型) |
| \(R(x,y)\) | 奖励函数 |
| \(A\) | advantage |
| \(V(x)\) | 当前策略在该 prompt 上的期望回报 |
| \(G\) | group size |
| \(\epsilon\) | clip 范围 |
| \(\beta\) | KL 系数 |
| \(\tau\) | 轨迹 |
| \(a_k\), \(o_k\) | 第 \(k\) 轮的模型输出 / 环境返回 |
| \(h_k\) | 第 \(k\) 轮结束时的完整历史 |
| \(P\), \(P_a\) | 模型参数量 / LoRA adapter 参数量 |