CS336 · 第 14 课

数据过滤、去重、配比与合成数据

第 13 课回答数据从哪里来；这一课把 raw records 变成训练 distribution：先抽取、过滤与去重，再决定不同来源被采样多少，最后理解 mid/post-training 的 synthetic data 如何由任务与 teacher 共同生成。

本讲问题：原始数据规模很大但信号密度不均；处理流水线要在保留有用分布和移除噪声、重复、污染之间做可测量的权衡。

HTML → extracted text → normalized document → shingles
             ↓ filter scores             ↓ signatures
        accept / reject             exact / near-duplicate graph
             └──────────────┬──────────────┘
                       selected corpus
                            ↓ mixture → tokenize → train → evaluate

filter score ≠ ground-truth quality
hash collision ≠ guaranteed duplicate

数据处理流水线回顾

Raw HTML (Common Crawl WARC)
    ↓ HTML → Text 提取
纯文本
    ↓ 语言识别
目标语言文本
    ↓ 质量过滤
高质量文本
    ↓ 有害内容过滤
安全文本
    ↓ 去重
最终训练数据

HTML → 文本提取

为什么这很重要？

Common Crawl 存储的是原始 HTML。HTML 包含大量非内容信息：

• 导航栏、页脚、侧边栏
• 广告、弹窗
• JavaScript 代码
• HTML 标签、CSS 样式

提取工具

import trafilatura

# 从 HTML 提取主要内容
html = """<html>
<body>
  <nav>Home | About | Contact</nav>
  <article>
    <h1>Main Content</h1>
    <p>This is the actual article text...</p>
  </article>
  <footer>Copyright 2024</footer>
</body>
</html>"""

text = trafilatura.extract(html)
# 结果: "Main Content\nThis is the actual article text..."

# 注意: DCLM 论文显示，trafilatura vs jusText 的选择
# 会影响下游任务精度 1-2 个百分点

WARC 处理示例

过滤算法

统一框架

所有过滤算法都遵循相同的模式：

KenLM：N-gram 语言模型

KenLM 是数据过滤中最常用的工具之一：

KenLM 用于质量过滤

import kenlm

# 在目标数据（如 Wikipedia）上训练 KenLM
model = kenlm.Model("wikipedia.arpa.bin")

def compute_perplexity(text):
    """计算文本在模型下的 perplexity"""
    score = model.score(text)
    num_tokens = len(text.split())
    perplexity = math.exp(-score / num_tokens)
    return perplexity

# 高质量文本 → 低 perplexity
print(compute_perplexity("Stanford University was founded in 1885."))
# → perplexity ≈ 50

# 低质量文本 → 高 perplexity
print(compute_perplexity("asdf asdf asdf asdf asdf"))
# → perplexity ≈ 5000

# CCNet 策略: 按 perplexity 排序，保留 top 1/3

fastText 分类器

fastText 是一个快速的文本分类器：

Bag of n-grams 和 Hashing Trick

# 问题: n-gram 数量可能无限
# 解决: Hashing trick

import mmh3

num_bins = 10_000_000  # 10M 哈希桶

def hash_ngrams(text, n=2):
    """将文本的 n-gram 哈希到固定数量的桶"""
    tokens = text.split()
    ngrams = [tokens[i:i+n] for i in range(len(tokens)-n+1)]
    hashed = [mmh3.hash(" ".join(ngram)) % num_bins for ngram in ngrams]
    return hashed

# 这样无论有多少唯一 n-gram，都映射到 10M 个桶

DSIR：重要性重采样

Data Selection for Language Models via Importance Resampling：

三种过滤方法对比

过滤应用

语言识别

# fastText 语言识别模型
# - 支持 176 语言
# - 基于 Wikipedia、Tatoeba、SETimes 训练
# - 开箱即用

import fasttext

model = fasttext.load_model("lid.176.bin")

# 预测
print(model.predict("The quick brown fox."))
# → ('__label__en', [0.98])

print(model.predict("Auf dem Wasser zu singen"))
# → ('__label__de', [0.95])

print(model.predict("The quadratic formula is $x = \\frac{-b \\pm \\sqrt{b^2-4ac}}{2a}$"))
# → 可能被误判（包含大量符号）

# 注意事项:
# - 短文本难以识别
# - 低资源语言效果差
# - 代码和公式可能被误判
# - 代码切换（中英混合）困难

质量过滤

不同的模型使用不同的质量过滤策略：

有害内容过滤

去重

为什么要去重？

• 训练效率：重复数据浪费算力
• 避免记忆：重复导致模型记忆而非泛化
• 隐私/版权：重复可能放大隐私和版权问题
• 评估有效：测试集重复会导致评估虚高

两种重复

去重的设计空间

精确去重

# 简单方法: 哈希 + 去重
import mmh3

def exact_dedup(documents):
    """精确去重"""
    seen = set()
    unique = []
    for doc in documents:
        h = mmh3.hash(doc)  # 计算哈希
        if h not in seen:
            seen.add(h)
            unique.append(doc)
    return unique

# C4 的方法:
# - 项: 3 个句子的 span
# - 匹配: 精确匹配
# - 处理: 删除所有但一个
# 注意: 删除中间的 span 可能导致文档不连贯

# 可以 MapReduce 并行化:
# Map: 每个文档 → (hash, document)
# Reduce: 每个 hash 保留一个文档

Bloom Filter

当数据量太大，set 放不进内存时：

# Bloom Filter: 概率性集合成员检测

# 特点:
# - 内存高效（每个元素 ~10 bits）
# - 如果返回"不在" → 100% 正确
# - 如果返回"在" → 大概率正确（有 false positive）
# - 无法删除

# 结构:
# - 一个 bit array（m 位）
# - k 个哈希函数

# 操作:
# - 插入: 对 item 计算 k 个哈希，将对应位置 1
# - 查询: 对 item 计算 k 个哈希，检查是否全为 1

from bitarray import bitarray
import mmh3

class BloomFilter:
    def __init__(self, size, num_hashes):
        self.size = size
        self.num_hashes = num_hashes
        self.table = bitarray(size)
        self.table.setall(0)

    def add(self, item):
        for seed in range(self.num_hashes):
            h = mmh3.hash(item, seed) % self.size
            self.table[h] = 1

    def might_contain(self, item):
        for seed in range(self.num_hashes):
            h = mmh3.hash(item, seed) % self.size
            if not self.table[h]:
                return False
        return True  # 可能在（false positive 可能）

False Positive Rate

MinHash 与 Jaccard 相似度

检测近似重复：

# Jaccard 相似度:
# J(A, B) = |A ∩ B| / |A ∪ B|
# 范围: [0, 1]

# 例:
# A = {"the", "cat", "in", "the", "hat"}
# B = {"the", "cat", "on", "the", "mat"}
# J(A, B) = 3 / 7 ≈ 0.43

# MinHash 的核心思想:
# - 对集合 A，计算其 minhash 签名
# - 两个集合的 minhash 签名相同的概率 = Jaccard 相似度
# - 这样可以用固定大小的签名近似 Jaccard 相似度

def minhash_signature(shingles, num_hashes=128):
    """计算集合的 minhash 签名"""
    signature = []
    for i in range(num_hashes):
        min_hash = float('inf')
        for s in shingles:
            h = mmh3.hash(s, seed=i)
            min_hash = min(min_hash, h)
        signature.append(min_hash)
    return signature

# 两个集合的 Jaccard 估计:
# J ≈ (signature1 == signature2) 的比例

Locality-Sensitive Hashing (LSH)

MinHash 签名仍然需要两两比较。LSH 将相似签名分到同一个桶：

SemDedup

语义层面的去重（更先进的方法）：

去重策略对比

数据配比

为什么需要配比？

不同来源的数据有不同的能力和偏差。Mixture 不是静态饼图，而是一条 sampling policy：在总训练 token 数 (D) 固定时，权重 (p_s) 决定来源 (s) 被处理多少 token，以及有限数据会重复多少个 epoch。

UniMax：先给稀缺来源设 epoch 上限

Spring 2026 官方讲义用 UniMax 说明一个简单边界：尽量均匀覆盖来源，但限制任何来源最多重复 (C) 个 epochs。来源用尽上限后，把剩余预算重新分给仍有容量的来源。它优化的是 coverage 与重复风险的可解释约束，不声称自动找到所有下游任务的最优 mixture。

从小规模 mixture 实验迁移到大规模

另一条路线是在小模型上尝试多组 mixture，用 regression 预测 mixture → validation/downstream metric，再选择候选配方。但小规模实验会低估大规模训练中的 epoching：同一权重在小预算下可能只看一遍稀缺来源，在大预算下却重复几十遍。官方讲义强调要让小规模 proxy 模拟大规模的 source exhaustion，而不是把拟合结果直接当真理。

DoReMi：自动数据配比

用 reference model 指导数据配比：

合成数据：生成什么，谁来验证

Spring 2026 Lecture 14 把 synthetic data 放在 mid-training 与 SFT 场景中：不是凭空制造“更多 token”，而是先定义目标任务，再生成 prompts、responses 或交互 trajectories，并用规则、执行环境、teacher 或人工审计筛选。

task distribution / real seed data
+ teacher or environment
+ generation policy
+ filters / verifier
+ mixture weight
+ provenance
+ decontamination
↓
train → held-out evaluation

synthetic response quality ≠ teacher benchmark score
verifier pass ≠ general correctness
more trajectories ≠ more independent information

三类 prompt 来源

为什么生成以后还要 filtering

Teacher 更强不保证对每个 domain 都是更好的数据生成器；同一 prompt 多次采样可提高找到好 response 的机会，但也会增加近重复。答案过滤、执行反馈和 reward model 都只是 proxy。验收应同时查看 pass rate、人工样本、difficulty distribution、重复率，以及在未用于生成或筛选的 held-out tasks 上训练后的变化。

Contamination 是 pipeline invariant

若生成 prompts 时读到了 evaluation solutions，后续再对文本做 exact dedup 也可能来不及，因为答案已被 paraphrase 进训练数据。应在 seed、teacher context、generated prompt/response 和最终 corpus 多个阶段记录 lineage，并用 exact、near 与 semantic checks 分层审计。

知识检查

如果只能记住 5 件事

延伸阅读