CS336 · 第 15 课

Mid/Post-training：SFT 与 RLHF

预训练得到通用 next-token predictor 后，模型还会经历高质量 continued training、指令示范与偏好优化。本课把这些阶段的训练信号分开：SFT 学目标 response，preference/RLHF 再处理多个可行回答之间的取舍。

本讲问题：Base model 学会的是预测文本，不是遵循用户意图。Alignment 需要先用示范定义期望行为，再用偏好信号处理多个合理输出之间的取舍。

SFT: prompt + target response → token cross-entropy → policy
Preference: prompt + chosen/rejected → comparison objective → reward/preference model
RLHF: policy rollouts → reward - KL pressure → advantage → policy update

human preference label ≠ scalar reward truth
reward model score ≠ real-world helpfulness
KL penalty ≠ safety guarantee

什么是 Alignment？

Base Model vs Instruct Model

Alignment 的三种方法

训练流程概览

Base Model (预训练完成)
    ↓ SFT (Supervised Fine-Tuning)
SFT Model (能遵循指令)
    ↓ RLHF (Reinforcement Learning from Human Feedback)
RLHF Model (符合人类偏好)

SFT：监督微调

核心思想

SFT 是最直接的 alignment 方法：收集高质量的 (instruction, response) 对，用标准的监督学习微调模型。

# SFT 的数据格式
{
    "instruction": "解释什么是机器学习",
    "output": "机器学习是人工智能的一个分支，它允许计算机从数据中学习...",
}

# 或者多轮对话格式
{
    "messages": [
        {"role": "user", "content": "你好"},
        {"role": "assistant", "content": "你好！有什么可以帮助你的吗？"},
        {"role": "user", "content": "解释什么是机器学习"},
        {"role": "assistant", "content": "机器学习是..."},
    ]
}

SFT 数据的特点

• 高质量：每个样本都经过人工审核或来自高质量来源
• 多样性：覆盖多种任务类型和语言风格
• 格式一致：使用统一的对话/指令格式
• 数量适中：通常 10K-100K 样本（远少于预训练）

SFT 数据来源

SFT 训练细节

# SFT 的损失函数（与预训练相同，但只在 response 上计算）

# 对于每个样本 (instruction, response):
# 1. 拼接为: [instruction_tokens, response_tokens]
# 2. 计算 loss 时，instruction 部分 mask 掉
# 3. 只在 response token 上计算 cross-entropy loss

def sft_loss(model, instruction, response):
    # 拼接输入
    input_ids = tokenize(instruction + response)
    # 创建 mask：只对 response 部分计算 loss
    mask = [0] * len(tokenize(instruction)) + [1] * len(tokenize(response))
    # 前向传播
    logits = model(input_ids)
    # 计算 loss（只对 response 部分）
    loss = cross_entropy(logits[mask], input_ids[mask])
    return loss

# 训练参数:
# - 学习率: 比预训练低 10-100 倍 (如 1e-6 到 1e-5)
# - Epochs: 1-3（容易过拟合）
# - Batch size: 适中（32-128）

SFT 数据的数量 vs 质量

Llama 2 的发现：27,540 个人工标注的高质量样本，效果优于数百万个开源数据样本。质量远比数量重要。

RLHF 概述

为什么需要 RLHF？

SFT 只能让模型"模仿"训练数据。但很多时候我们需要模型在多个合理回答中选择最好的那个——这超出了 SFT 的能力：

• 创造性写作：多个合理的故事开头
• 代码生成：多个能工作的实现
• 对话：多个有帮助的回答风格

RLHF 的三步流程

Step 1: SFT
Base Model → SFT Model (初始化 policy)

Step 2: Reward Model
收集偏好数据 → 训练 Reward Model R(s, a)

Step 3: PPO 优化
用 Reward Model 作为奖励信号，通过 PPO 优化 policy

Reward Model

Reward Model 学会预测"人类更喜欢哪个回答"：

# 偏好数据收集
# 给定同一个 prompt，模型生成多个回答
# 人类标注者排序: A > B > C

# Reward Model 训练
# 输入: (prompt, response)
# 输出: 标量 reward

# 损失函数 (Bradley-Terry 模型):
# L = -E[log(σ(R(prompt, chosen) - R(prompt, rejected)))]

# 即: 让 chosen 的 reward 高于 rejected

class RewardModel(nn.Module):
    def __init__(self, base_model):
        super().__init__()
        self.transformer = base_model
        # 替换 classification head 为标量输出
        self.reward_head = nn.Linear(hidden_dim, 1)

    def forward(self, input_ids, attention_mask):
        outputs = self.transformer(input_ids, attention_mask)
        # 取最后一个 token 的隐藏状态
        last_hidden = outputs.last_hidden_state[:, -1, :]
        reward = self.reward_head(last_hidden)
        return reward.squeeze(-1)

PPO 优化

PPO 的完整流程

# RLHF/PPO 训练循环:

for batch in prompts:
    # 1. 生成 responses
    responses = policy.generate(batch.prompt)

    # 2. 计算 rewards
    rewards = reward_model(batch.prompt, responses)

    # 3. 计算 KL 惩罚
    kl_penalty = compute_kl(policy, sft_model, batch.prompt, responses)

    # 4. 总奖励
    total_reward = rewards - beta * kl_penalty

    # 5. 计算 advantage (使用 GAE)
    advantages = compute_gae(total_reward, values)

    # 6. PPO 更新
    for _ in range(ppo_epochs):
        new_log_probs = policy.log_prob(batch.prompt, responses)
        ratio = exp(new_log_probs - old_log_probs)
        loss = -min(ratio * advantages,
                    clip(ratio, 1-eps, 1+eps) * advantages)
        loss.backward()
        optimizer.step()

偏好数据收集

如何收集偏好？

偏好数据的质量

• 一致性：不同标注者对同一对回答的判断应该一致
• 区分度：chosen 和 rejected 应该有明确的质量差异
• 多样性：覆盖多种 prompt 类型和回答风格

RLHF 的挑战

Reward Hacking

模型学会"欺骗" reward model，而非真正提高质量：

KL 散度的作用

其他挑战

SFT vs RLHF 对比

实践要点

SFT 实践 Checklist

RLHF 实践 Checklist

知识检查

如果只能记住 5 件事

延伸阅读