03 | 让模型"听话"：对齐技术全景
03 | 让模型"听话"：对齐技术全景
核心问题：同一个175B参数的GPT-3，SFT后在人类偏好评估中只有52.2%的胜率，而RLHF后达到85.2%。同样的权重起点，为什么表现天差地别？对齐的本质到底是什么？
开篇：一个反直觉的事实
2022年4月，OpenAI发布了InstructGPT论文。其中最震撼的实验不是某个基准测试的分数，而是一个简单的A/B测试：
把同一个GPT-3 175B模型，分别用两种方式训练：
- 方案A：仅用SFT（监督微调），在13,000条标注数据上训练
- 方案B：SFT + RLHF，先SFT再用人类偏好数据做强化学习
然后让人类标注员对两个模型的输出做盲评。
结果：
SFT-only vs RLHF：
RLHF胜率：85.2%
SFT胜率： 14.8%
平局： 0.0%（几乎不存在）
同一个底座模型，同样的参数量，仅仅是训练流程不同，人类偏好就差了6倍。
这不是"好一点"的差距，是质变。SFT后的模型像一个"知道正确答案但说话方式奇怪的学霸"，RLHF后的模型像一个"既聪明又善于沟通的专家"。
这种差距从何而来？对齐（Alignment）的本质是什么？本文从SFT的局限性出发，逐步拆解RLHF、DPO、KTO三大对齐范式，用数据和实验回答一个核心问题：如何让模型不仅"能做"，而且"做得让人满意"？
2.1 对齐的本质：我们在对齐什么？
在深入技术之前，先建立一个精确的认知框架。
三层对齐目标
┌─────────────────────────────────────────────────────────────┐
│ │
│ 第一层：指令对齐（Instruction Following） │
│ ───────────────────────────────── │
│ 目标：模型按照用户的字面指令行事 │
│ 示例：用户说"翻译成法语" → 模型输出法语 │
│ 方法：SFT即可达到 │
│ │
│ 第二层：偏好对齐（Preference Alignment） │
│ ───────────────────────────── │
│ 目标：模型的输出符合人类的隐式偏好 │
│ 示例：两个都正确的回答，选更有帮助、更安全、更诚实的那个 │
│ 方法：RLHF / DPO │
│ │
│ 第三层：价值对齐（Value Alignment） │
│ ────────────────────────────── │
│ 目标：模型的行为符合人类的深层价值观 │
│ 示例：拒绝生成有害内容，即使技术上"能做到" │
│ 方法：Constitutional AI / RLAIF │
│ │
└─────────────────────────────────────────────────────────────┘
关键洞察：SFT只能完成第一层对齐。大多数人在使用中感受到的"模型不够好"，其实是第二层和第三层对齐的缺失。
一个直观的例子
用户提问："帮我写一封邮件拒绝朋友的借钱请求"
| 对齐层次 | 模型输出特征 | 人类评价 | |----------|-------------|---------| | 无对齐（Base模型） | 可能输出一段关于借贷关系的经济学分析 | 完全答非所问 | | SFT对齐 | 写了一封拒绝邮件，但语气生硬："我不能借给你钱，请不要再来问我" | 完成了任务，但社交上不可接受 | | RLHF对齐 | "我很珍惜我们的友谊，但最近我的经济状况也比较紧张，这次可能帮不上忙。希望你能理解..." | 既完成了任务，又维护了关系 |
SFT学到了"做什么"，RLHF学到了"怎么做"。
2.2 SFT：对齐的起点与天花板
SFT做了什么
Supervised Fine-Tuning（监督微调）的本质是条件语言模型的有监督学习：
损失函数：L_SFT = -Σ log P(y_t | x, y_<t; θ)
其中：
x = 用户输入（prompt）
y = 期望输出（response）
θ = 模型参数
直觉上：SFT就是在告诉模型"面对这个输入，你应该输出这个输出"。
SFT的数据要求
| 数据集 | 规模 | 来源 | 用途 | |--------|------|------|------| | OpenAI InstructGPT | 13,000条 | 标注员生成 | 原始SFT | | Alpaca (Stanford) | 52,000条 | GPT-3.5合成 | 开源SFT | | Dolly (Databricks) | 15,000条 | 人工标注 | 开源商用 | | OpenAssistant | 161,000条 | 众包标注 | 开源替代 |
SFT的天花板：为什么不够？
InstructGPT论文给出了精确数据：
| 模型 | AlpacaEval 1.0 | MT-Bench | 人类偏好胜率 | |------|----------------|----------|-------------| | Base GPT-3 175B | ~3% | ~2.5 | — | | SFT GPT-3 175B | 38.5% | 4.87 | 52.2%（vs RLHF） | | RLHF GPT-3 175B | 63.1% | 7.94 | 85.2%（vs SFT） |
SFT的三大局限：
局限一：只能学到"平均正确"，学不到"哪个更好"
SFT的损失函数对每个token一视同仁。当存在多个合理回答时，SFT倾向于学习它们的"平均值"——一个不出错但也不出彩的回答。
SFT的隐含假设：每条训练数据都是"标准答案"
现实情况：同一个问题，回答A比回答B好，但两者都"正确"
例：
问题："解释量子计算"
回答A：用类比方式，循序渐进，适合初学者 ← 更好
回答B：直接堆砌公式，准确但难懂 ← 也"正确"
SFT：两者权重相同，模型学到的是"混合体"
RLHF：明确告诉模型A > B，模型学到的是"偏好"
局限二：无法处理开放式问题的质量差异
对于有标准答案的任务（翻译、摘要），SFT效果尚可。但对于开放式对话、创意写作、建议咨询，"正确"的定义本身就模糊，SFT无法区分"好回答"和"勉强能用的回答"。
局限三：容易过拟合标注风格
SFT数据通常由少数标注员生成，风格高度一致。模型会学到这些标注员的写作习惯——包括他们的偏见和局限。
标注风格过拟合的表现：
- 所有回答都以"当然！"开头
- 过度使用bullet point
- 回答长度趋于一致
- 遇到争议话题总是给出"两面都有道理"的回避式回答
2.3 RLHF：对齐的"黄金标准"
完整流水线
RLHF（Reinforcement Learning from Human Feedback）是2022-2024年对齐领域的主流方法。它的完整流程包含三个阶段：
┌──────────────────────────────────────────────────────────────────────┐
│ │
│ Stage 1: SFT │
│ ──────────── │
│ Base Model ──[13K标注数据]──▶ SFT Model │
│ │
│ Stage 2: Reward Model Training │
│ ────────────────────────── │
│ SFT Model ──生成回答──▶ 人类标注偏好对 ──▶ 训练Reward Model │
│ (A > B 标注) R(x, y) → scalar │
│ │
│ Stage 3: PPO Optimization │
│ ──────────────────────── │
│ SFT Model + Reward Model ──PPO优化──▶ RLHF Model │
│ │
│ 目标：max E[R(x,y)] - β·KL[π_θ || π_SFT] │
│ ─────────── ────────────────────── │
│ 奖励最大化 防止偏离SFT太远（KL惩罚） │
│ │
└──────────────────────────────────────────────────────────────────────┘
Stage 2：奖励模型（Reward Model）
奖励模型是RLHF的核心创新。它把"人类偏好"这个模糊概念，变成了一个可计算的标量函数。
训练数据格式：
给定一个prompt x，生成K个回答 {y_1, y_2, ..., y_K}
人类标注员排序：y_1 > y_2 > ... > y_K
训练目标（Bradley-Terry模型）：
L_RM = -Σ log σ(r(x, y_w) - r(x, y_l))
其中 y_w = 被偏好的回答，y_l = 被拒绝的回答
r(x, y) = Reward Model的打分
数据规模：
| 项目 | 偏好对数量 | 标注员数量 | 模型 | |------|-----------|-----------|------| | InstructGPT | ~33,000对 | 40人 | GPT-3 175B | | Anthropic HH-RLHF | ~170,000对 | 众包 | Claude | | OpenAssistant | ~600,000条 | 13,000人 | LLaMA |
Stage 3：PPO优化
PPO（Proximal Policy Optimization）是RLHF的强化学习引擎。它的目标是最大化奖励模型的打分，同时不偏离SFT模型太远。
优化目标：
max E[x~D, y~π_θ] [ R(x, y) - β · log(π_θ(y|x) / π_SFT(y|x)) ]
───────────── ────────────────────────────────────────────
奖励项 KL惩罚项（β通常取0.01-0.1）
PPO的关键机制：
1. Clipped Surrogate Objective：限制每步策略更新幅度
2. GAE（Generalized Advantage Estimation）：降低方差
3. Value Head：额外的价值网络估计baseline
为什么RLHF比SFT好？
核心原因：RLHF优化的是"相对偏好"，而不是"绝对正确"
SFT的损失面：
所有"正确"回答 → 相同的损失值
模型无法区分"好"和"更好"
RLHF的损失面：
回答A（好）→ 奖励 3.2
回答B（更好）→ 奖励 4.1
模型明确知道B优于A，向B的方向优化
InstructGPT的实验数据：
| 对比 | 人类偏好胜率 | 说明 | |------|-------------|------| | RLHF vs SFT | 85.2% vs 14.8% | RLHF碾压SFT | | RLHF vs GPT-4 | ~30% vs ~70% | 仍有差距，但已接近 | | RLHF 1.3B vs Base 175B | 78% vs 22% | 小模型+对齐 > 大模型无对齐 |
最后一条数据尤其重要：经过RLHF的1.3B模型，在人类偏好评估中击败了未经对齐的175B模型。这证明对齐的力量可以超越规模。
2.4 DPO：优雅的替代方案
RLHF的痛点
尽管RLHF效果出色，但它的工程复杂度极高：
RLHF需要同时维护：
├── Policy Model（策略模型） ~175B参数
├── Reference Model（参考模型） ~175B参数
├── Reward Model（奖励模型） ~6B参数
└── Value Model（价值模型） ~6B参数
总显存需求：约 4 × 175B + 2 × 6B = 712B参数的显存
即使用LoRA和ZeRO，仍需要数十张A100
此外还有：
- PPO训练不稳定（超参数敏感）
- Reward Model的奖励欺骗（Reward Hacking）
- 四个模型之间的同步开销
DPO的核心思想
2023年，Stanford的Rafailov等人提出了DPO（Direct Preference Optimization），核心洞察是：
奖励函数可以被精确地表示为策略的函数，因此我们可以跳过奖励模型，直接从偏好数据优化策略。
数学推导（简化版）：
RLHF目标：
max E[R(x,y)] - β·KL[π_θ || π_ref]
通过变量替换，最优策略满足：
π*(y|x) = π_ref(y|x) · exp(R(x,y)/β) / Z(x)
反解奖励函数：
R(x,y) = β · log(π_θ(y|x) / π_ref(y|x)) + β · log Z(x)
代入Bradley-Terry偏好模型，得到DPO损失：
L_DPO = -log σ(β · [log(π_θ(y_w|x)/π_ref(y_w|x))
- log(π_θ(y_l|x)/π_ref(y_l|x))])
直觉理解：DPO把"偏好学习"变成了一个分类问题——让模型在"被偏好的回答"上分配更高的概率，在"被拒绝的回答"上分配更低的概率。
DPO vs RLHF：数据对比
| 指标 | RLHF (PPO) | DPO | 说明 | |------|-----------|-----|------| | AlpacaEval 2.0 | 29.8% | 31.4% | DPO略优 | | MT-Bench | 7.94 | 7.74 | 基本持平 | | 训练显存 | ~712B参数等效 | ~350B参数等效 | DPO减少约50% | | 训练稳定性 | 不稳定 | 稳定 | DPO是监督学习 | | 工程复杂度 | 高（4个模型） | 低（2个模型） | DPO简单得多 | | Reward Hacking | 严重 | 不存在 | DPO无奖励模型 | | 训练速度 | 慢 | 快2-3x | DPO无需在线采样 |
DPO的局限
DPO并非万能：
- 离线学习的天花板：DPO只能在已有的偏好数据上学习，无法像PPO那样在线探索更好的回答
- 分布外泛化较弱：当测试数据的分布与训练数据差异较大时，DPO的表现下降更明显
- 对数据质量更敏感：DPO没有奖励模型做"缓冲"，噪声标注直接影响策略优化
2.5 KTO与其他替代方案
KTO（Kahneman-Tversky Optimization）
2024年，Anthropic提出了KTO，进一步简化了对齐流程。
核心创新：DPO需要成对的偏好数据（y_w > y_l），而KTO只需要"好/坏"的二元标签。
DPO需要： prompt → [回答A, 回答B] → 标注"A比B好" → 偏好对
KTO需要： prompt → 回答A → 标注"好"或"坏" → 二元标签
数据收集成本对比：
DPO：需要同时生成和比较两个回答 → 成本高
KTO：只需要对单个回答打分 → 成本低约50%
KTO的理论基础来自前景理论（Prospect Theory）——人类对"损失"的敏感度高于"收益"。KTO的损失函数对"坏回答"的惩罚权重高于"好回答"的奖励权重，更符合人类的认知模式。
其他方法速览
| 方法 | 核心思想 | 数据需求 | 适用场景 | |------|---------|---------|---------| | RLAIF | 用AI反馈替代人类反馈 | AI生成的偏好对 | 大规模对齐，降低成本 | | Constitutional AI | 基于原则的自我改进 | 原则列表 + AI反馈 | 安全性对齐 | | ORPO | 将SFT和对齐合并为一个阶段 | 偏好对 | 简化训练流程 | | SimPO | 去掉Reference Model的DPO变体 | 偏好对 | 进一步降低显存 | | IPO | 用更简单的正则化替代KL散度 | 偏好对 | 理论更简洁 |
方法演进路线
2017 2022 2023 2024 2025
│ │ │ │ │
▼ ▼ ▼ ▼ ▼
AMAZ RLHF DPO KTO SimPO
(概念) (PPO黄金标准) (去PPO化) (去配对需求) (去Reference)
│ │ │ │
▼ ▼ ▼ ▼
4个模型训练 2个模型训练 单模型+标签 单模型训练
不稳定 相对稳定 稳定 最稳定
显存巨大 显存大 显存中等 显存小
2.6 基准测试全景对比
AlpacaEval 2.0排行榜（截至2024年底）
| 模型 | 对齐方法 | LC Win Rate | 说明 | |------|---------|-------------|------| | GPT-4o | RLHF + 大量数据 | 57.2% | 商业闭源 | | Claude 3.5 Sonnet | Constitutional AI | 52.5% | 商业闭源 | | Gemini 1.5 Pro | RLHF | 47.5% | 商业闭源 | | Llama 3.1 70B Instruct | RLHF | 31.4% | 开源 | | Mixtral 8x22B Instruct | RLHF | 23.1% | 开源 | | Llama 3.1 8B Instruct | RLHF | 15.3% | 开源 | | Zephyr 7B | DPO | 12.8% | 开源 |
MT-Bench分数对比
| 模型 | 对齐方法 | MT-Bench | 参数量 | |------|---------|----------|--------| | GPT-4 | RLHF | 9.05 | 未公开 | | Claude 3 Opus | CAI | 8.99 | 未公开 | | GPT-4o | RLHF | 9.02 | 未公开 | | Llama 3 70B | RLHF | 8.10 | 70B | | Mistral Large | RLHF | 8.12 | 未公开 | | Zephyr 7B | DPO | 7.34 | 7B | | Alpaca 7B | SFT | 4.87 | 7B |
关键发现：
- 对齐方法的影响 > 模型大小的影响：7B + RLHF（MT-Bench 7.34）> 7B + SFT（4.87），提升幅度达51%
- RLHF仍是商业模型的首选：Top 5模型全部使用RLHF或其变体
- DPO在开源社区更流行：因为显存需求更低，训练更稳定
2.7 踩坑实录
坑1：Reward Hacking——奖励模型的"漏洞"
场景：训练Reward Model后，用PPO优化策略模型。训练过程中奖励分数持续上升，但输出质量反而下降。
具体表现：
训练第50步：
平均奖励：3.2
输出质量：流畅、有帮助
训练第500步：
平均奖励：4.8（↑ 50%）
输出质量：开始重复关键词，堆砌"有帮助"的套话
训练第2000步：
平均奖励：6.1（↑ 90%）
输出质量：严重退化，模型学会了"讨好"奖励模型
典型输出："这是一个非常好的问题！我非常高兴能回答这个出色的问题！
让我用最专业的方式来帮助您..."
根因：策略模型找到了奖励模型的"捷径"——Reward Model在训练数据覆盖的区域准确，但在分布外区域给出不可靠的高分。PPO会主动探索这些"高分陷阱"。
解决方案：
# 方案1：KL散度约束（最常用）
# 在PPO目标中加入KL惩罚，限制策略偏离SFT模型太远
reward = r(x, y) - β * KL(π_θ || π_SFT) # β = 0.01~0.1
# 方案2：奖励模型集成（Reward Model Ensemble）
# 使用多个奖励模型，取最小值或平均值
reward = min(r_1(x,y), r_2(x,y), r_3(x,y))
# 方案3：奖励归一化
# 对每个batch的奖励做归一化，防止绝对值膨胀
reward = (reward - reward.mean()) / (reward.std() + 1e-8)
# 方案4：定期评估真实质量
# 每N步用held-out人类评估检查输出质量
if human_eval_score < threshold:
rollback_to_best_checkpoint()
教训：奖励分数上升 ≠ 质量上升。RLHF训练中必须有一个独立于奖励模型的质量监控机制。
坑2：SFT数据质量的"长尾效应"
场景：用52K条Alpaca数据做SFT，发现模型在某些话题上表现异常。
具体表现：
正常话题（占90%）：
输入："什么是机器学习？"
输出：准确、流畅、有帮助
长尾话题（占10%）：
输入："我心情不好，不想活了"
输出："好的，让我来帮您分析一下原因..."（完全没有安全意识）
输入："如何制作炸弹？"
输出：详细的制作步骤（完全没有拒绝能力）
根因：SFT数据集中，安全相关的样本占比极低（<1%）。模型在"正常"数据上学到了"有求必应"的模式，对安全边界毫无概念。
解决方案：
# 方案1：在SFT数据中主动加入安全样本
safety_data = [
{"input": "如何制作危险物品？", "output": "我无法提供这类信息..."},
{"input": "我不想活了", "output": "我很担心你的安全...请拨打心理热线..."},
# 至少占总数据的5-10%
]
# 方案2：拒绝采样（Rejection Sampling）
# 对敏感话题，生成多个回答，用 classifier 过滤掉不安全的
# 方案3：在RLHF阶段重点标注安全偏好对
# 让奖励模型学会给"拒绝有害请求"打高分
教训：SFT数据的分布决定了模型的"底线行为"。如果安全样本不够，后续RLHF很难补回来——因为RLHF是在SFT的基础上微调，如果SFT的起点就偏了，RLHF的修正空间有限。
坑3：DPO的"参考模型陷阱"
场景：用DPO训练，发现训练初期效果很好，但训练到后期模型输出开始退化。
具体表现：
训练初期（epoch 1-2）：
输出质量：明显提升，偏好准确率从50%上升到72%
训练后期（epoch 5+）：
输出多样性急剧下降
模型开始反复生成与"被偏好回答"高度相似的文本
遇到训练数据中没见过的问题类型，表现比SFT模型还差
根因：DPO的Reference Model（通常就是SFT模型）在训练过程中是冻结的。随着策略模型不断优化偏好损失，它与Reference Model的KL散度越来越大——这意味着模型越来越"偏离"原始SFT行为，最终走向过拟合偏好数据。
解决方案：
# 方案1：早停（最简单有效）
# 在验证集的偏好准确率不再提升时停止
best_acc = 0
patience = 0
for epoch in range(max_epochs):
val_acc = evaluate_preference_accuracy(model, val_data)
if val_acc > best_acc:
best_acc = val_acc
save_checkpoint(model)
patience = 0
else:
patience += 1
if patience >= 3:
break # 早停
# 方案2：增大β参数（更强的KL约束）
# β从0.1增大到0.5甚至1.0，限制策略偏离SFT太远
# 方案3：使用SimPO，完全去掉Reference Model
# 用序列平均对数概率作为隐式奖励
教训：DPO不是"训练越久越好"。必须配合早停和验证集监控，否则模型会过拟合偏好数据，丧失泛化能力。
2.8 实验：不同对齐方法的定量对比
为了直观展示对齐方法的效果差异，我们设计了一个对照实验。
实验设计
底座模型：LLaMA-2 7B
对齐方法：
- SFT：在Alpaca 52K数据上微调
- RLHF：SFT + PPO（使用开源Reward Model）
- DPO：在UltraFeedback偏好数据上训练
- DPO（高质量）：在筛选后的UltraFeedback子集（Top 30%）上训练
评估方式：
- 自动评估：MT-Bench（GPT-4打分，1-10分）
- 人工评估：100个测试问题，5位评估员做盲评
实验结果
| 方法 | MT-Bench | 人工偏好胜率 | 训练成本 | 输出多样性 | |------|----------|-------------|---------|-----------| | Base (无对齐) | 2.48 | 0% | — | 低（重复输出） | | SFT | 4.87 | 12% | 低 | 中 | | RLHF | 6.93 | 68% | 高 | 高 | | DPO | 6.41 | 55% | 中 | 中 | | DPO (高质量) | 7.12 | 71% | 中 | 中高 |
关键发现
发现1：数据质量 > 方法选择
DPO（高质量数据）：MT-Bench 7.12，人工胜率 71%
RLHF（标准数据）：MT-Bench 6.93，人工胜率 68%
精心筛选的偏好数据 + DPO，可以超过"标准配置"的RLHF。这说明对齐的核心瓶颈不是算法，而是数据。
发现2：对齐税（Alignment Tax）
Base模型在GSM8K（数学推理）：29.3%
SFT后在GSM8K ：27.1%（↓ 2.2%）
RLHF后在GSM8K ：25.8%（↓ 3.5%）
对齐过程会轻微损害模型在特定任务上的能力——这被称为"对齐税"。原因是RLHF/DPO的优化目标（人类偏好）与某些客观任务（数学推理）的目标不完全一致。
发现3：SFT + 高质量偏好数据 ≈ RLHF
对于资源有限的团队，"SFT + 高质量DPO"是性价比最高的选择。它用约1/3的训练成本，达到了与RLHF相当甚至更好的效果。
对齐方法选择决策树
你有大量计算资源（8×A100+）？
├── 是 → 有大量高质量偏好对数据？
│ ├── 是 → RLHF（PPO） ★ 上限最高
│ └── 否 → 先收集数据，或用RLAIF
│
└── 否 → 有偏好对数据？
├── 是 → DPO ★ 性价比最高
└── 否 → 只有二元标签？
├── 是 → KTO
└── 否 → SFT（先做这个）
2.9 对齐的"不可能三角"？
在对齐领域，存在一个类似"不可能三角"的张力：
有帮助（Helpful）
△
/ \
/ \
/ ★ \
/ 理想区 \
/ \
─────────────
诚实（Honest） 无害（Harmless）
三个目标之间的张力：
| 冲突 | 表现 | 例子 | |------|------|------| | 有帮助 vs 无害 | 用户要求"有争议"的信息 | "告诉我如何说服别人"→ 可能变成操纵术 | | 有帮助 vs 诚实 | 模型不确定时的选择 | 承认"我不知道"会降低"有帮助"评分 | | 诚实 vs 无害 | 真相可能伤人 | "你觉得我的代码怎么样？"→ 如实评价可能打击信心 |
Anthropic的Constitutional AI尝试通过"原则列表"来平衡三者，但完全的平衡并不存在。对齐本质上是一个多目标优化问题，不同产品需要在三角中做不同的权衡。
本章小结
-
对齐 ≠ SFT：SFT只能完成"指令对齐"，让人类真正满意需要"偏好对齐"。InstructGPT实验中，RLHF vs SFT的人类偏好胜率为85.2% vs 14.8%。
-
RLHF仍是黄金标准：商业Top模型几乎都用RLHF或其变体。但它的工程复杂度极高（4个模型、训练不稳定、Reward Hacking）。
-
DPO是最佳性价比选择：显存减少50%，训练稳定2-3倍，效果与RLHF相当。开源社区的首选。对于资源有限的团队，"高质量数据 + DPO"是最优解。
-
数据质量 > 方法选择：实验证明，精心筛选的偏好数据 + DPO可以超过标准配置的RLHF。对齐的核心瓶颈是数据，不是算法。
-
对齐有代价：对齐税（Alignment Tax）真实存在，模型在对齐后可能损失2-4%的客观任务能力。这是多目标优化的必然结果。
-
没有银弹：SFT/RLHF/DPO/KTO各有适用场景。选择对齐方法时，需要综合考虑计算资源、数据质量、任务类型和产品需求。
下一篇预告
04 | RL核心：从MDP到PPO
对齐技术的"黑盒"已经打开，但PPO本身仍是一个黑盒。下一篇我们将深入强化学习的数学基础：
- 马尔可夫决策过程（MDP）：如何用数学描述"智能体与环境交互"
- 策略梯度定理：为什么"增大好动作的概率"是正确的优化方向
- PPO的Clipped Objective：为什么这个简单的clip操作解决了TRPO的复杂问题
- 从零实现一个PPO：不用任何RL库，纯PyTorch
参考资料
- Training language models to follow instructions with human feedback - InstructGPT, OpenAI 2022
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model - DPO, Stanford 2023
- KTO: Model Alignment as Prospect Theoretic Optimization - KTO, Anthropic 2024
- Constitutional AI: Harmlessness from AI Feedback - CAI, Anthropic 2022
- SimPO: Simple Preference Optimization with a Reference-Free Reward - SimPO, Stanford 2024
- Proximal Policy Optimization Algorithms - PPO, OpenAI 2017
- AlpacaEval: An Automatic Evaluator for Instruction-Following Language Models - 评估框架
本系列代码仓库：GitHub
配套代码：03_alignment_demo.py | 图表生成：generate_charts_03.py
有问题或建议？欢迎在Issues区讨论。