CS336 · 第 16 课

RLVR：基于可验证奖励的强化学习

当数学答案、代码执行或形式证明可以被程序重复检查时，policy optimization 可以直接使用 verifier reward。RLVR 降低了逐条人工偏好标注的依赖，但 verifier 仍是有覆盖边界、可被利用的 proxy。

本讲问题：当任务答案可以被程序、测试或形式规则验证时，奖励不必依赖主观偏好模型；新的问题转为怎样采样、比较和更新，同时避免模型利用 verifier 漏洞。

prompt
  ↓ current policy samples G responses
responses → verifier → rewards
                     ↓ group baseline / normalization
                  advantages
                     ↓ clipped / KL-regularized objective
                 updated policy

verifiable outcome ≠ verified reasoning path
group-relative advantage ≠ correctness probability

动机：RLHF 的局限

第 15 课学习的 RLHF 是 alignment 的主流方法，但有几个根本性局限：

什么是 RLVR？

定义

RLVR = Reinforcement Learning from Verifiable Rewards。它使用可由程序重复检查的结果属性构造奖励，而不是依赖逐条人类主观判断；“可验证”只覆盖 verifier 实际检查的属性。

可验证奖励的例子

# RLVR 的核心循环:

for prompt in batch:
    # 1. 模型生成 response（可能包含推理过程 + 答案）
    response = model.generate(prompt)

    # 2. 从 response 中提取答案
    answer = extract_answer(response)

    # 3. 用验证器检查答案
    reward = verifier.check(answer, ground_truth)
    # reward = 1 if correct, 0 if wrong

    # 4. 构造相对信号；baseline/normalization 是 estimator 的一部分
    advantage = reward - baseline
    loss = -log_prob(response) * advantage  # 仅为单样本 policy-gradient 示意
    loss.backward()

真实 GRPO 会对同一 prompt 的多条 rollout 构造 group-relative advantage，并按 handout 指定的 token/sequence aggregation、ratio、clipping 与 regularization 更新；上面只展示 verifier signal 如何进入 policy gradient，不是可提交实现。

RLVR vs RLHF 对比

GRPO：群组相对策略优化

背景

GRPO (Group Relative Policy Optimization) 是 DeepSeek-R1 使用的算法，是 PPO 的简化版本：

• 去掉了 Critic（Value Function）——PPO 需要一个额外的 value model 来估计 advantage
• 利用群组结构——对同一个 prompt 生成多个 response，用组内相对奖励作为 baseline
• 状态更少，不自动更稳定——少维护一个 critic，但 group variance、normalization、length weighting 与 rollout 分布仍会影响 bias/variance

核心思想

GRPO 的数学形式

GRPO 的优势

On-policy 与 off-policy：rollout 来自谁

官方 Lecture 16 的系统重点是 on-policy rollout 很昂贵；off-policy estimator 的实现细节在 Assignment 5 v2.0.1 中进一步展开。本页只建立两者的对象边界。

DeepSeek-R1 的方法

概述

DeepSeek-R1 是 RLVR 的里程碑工作，展示了纯强化学习可以让模型自发学会推理能力：

• DeepSeek-R1-Zero：纯 RL，无 SFT
• DeepSeek-R1: Cold start + RL + 蒸馏

DeepSeek-R1-Zero：纯 RL

涌现的推理行为

在 RL 训练过程中，研究人员观察到模型自发发展出高级推理策略：

DeepSeek-R1 的完整流程

奖励设计

# DeepSeek-R1 的奖励函数:

def compute_reward(response, ground_truth, task_type):
    if task_type == "math":
        # 1. 答案正确性
        answer = extract_answer(response)
        correctness = (answer == ground_truth)

        # 2. 格式正确性（是否使用了规定的格式）
        format_ok = check_format(response)  # e.g., "Answer: XXX"

        reward = float(correctness) + 0.1 * float(format_ok)

    elif task_type == "code":
        # 运行测试用例
        code = extract_code(response)
        tests_pass = run_tests(code, test_cases)
        reward = float(tests_pass)

    return reward

涌现的推理能力

Chain-of-Thought 的涌现

R1-Zero 没有先做 cold-start reasoning SFT；论文观察到更长的推理、检查与反思行为在 RL 过程中被强化。但这不证明 base model 的预训练数据从未包含 CoT，也不意味着所有 reasoning recipe 都不需要 SFT：

为什么 RL 能涌现出 CoT？

• 探索：RL 让模型尝试不同的回答策略
• 选择：CoT 策略更容易得到正确答案（奖励）
• 强化：CoT 策略被强化，逐渐成为默认行为
• 自我改进：CoT 让模型能发现和纠正错误

RLVR 的挑战

1. 奖励稀疏

在很多任务中，只有最终答案是对/错，中间步骤没有奖励：

2. 奖励设计困难

设计一个好的奖励函数并不容易：

• 代码：单元测试可能不全面
• 数学：等价表达式的匹配（"2+2" vs "4"）
• 推理：格式正确性难以定义

3. 分布偏移

RL 训练可能让模型偏离预训练分布：

• 过度优化推理格式，丧失通用能力
• 语言风格变化（变得过于正式或机械）
• 遗忘预训练知识

4. 计算成本

RL 训练比 SFT 昂贵得多：

• 需要多次采样（每个 prompt 生成多个 response）
• 需要多次迭代更新
• 需要维护 reference model（计算 KL）

RLVR 的未来方向

1. 更丰富的奖励信号

• 过程奖励模型 (PRM)：不仅奖励最终答案，还奖励中间步骤
• 多维度奖励：正确性 + 简洁性 + 可读性
• 自我奖励：模型自己评估自己的输出

2. 扩展到更多领域

• 科学推理：化学、物理问题的验证
• 形式化证明：Lean/Coq 验证器
• 多模态：图像生成的质量评估

3. RLVR + RLHF 结合

• 用 RLVR 提升推理能力
• 用 RLHF 提升对话和通用能力
• 两者互补，不是替代

知识检查

如果只能记住 5 件事

延伸阅读