书外扩展：从 Actor-Critic 继续

本区接在教材第 10 章之后，不冒充原书的第 11–14 章。已有概念继续使用 \(v_\pi,q_\pi,\pi(a\mid s,\theta),\delta_\pi\)；新增记号在每篇文章里定义。

方法	重点	数值实验
TRPO	用 KL 约束控制策略更新	Bernoulli 策略的新旧分布差异
PPO	裁剪代理目标，配合优势估计	正负优势下的分段目标
GRPO	回答组内的相对奖励信号	奖励与标准化优势
GSPO	长度归一化的序列比率	token 比率与几何平均

这些实验运行真实的目标函数计算，但不是完整训练器。语言模型的奖励、token 与序列设定需要单独说明；其性能结论不能直接推广到机器人控制。