参考资料¶

本页按用途记录一手资料。章节中的数学表达是复习整理，未替代原始证明；手写原稿接入后应补充逐步推导及对应章节。部分出版页面可能需要网络访问条件。

主教材¶

赵世钰（Shiyu Zhao），Mathematical Foundations of Reinforcement Learning，September 2024。作者维护的教材仓库。本次使用用户提供的该版 PDF，以其符号、数学设定和 10 章顺序为主线。

原书印刷页与 PDF 页码见阅读对照，统一符号见符号体系。其他教材不替换这套主线记号。

资料	在本项目中的用途
Sutton & Barto, Reinforcement Learning: An Introduction, 2nd edition	用于交叉参考；不作为本站主线的符号或章节依据
Berkeley Deep RL 课程	深度 RL 与机器人学习的后续课程入口
Spinning Up · PPO	PPO 的目标与工程流程
Gymnasium · Handling Time Limits	终止、截断与 bootstrap 的语义

方法	一手资料	首版阅读范围
DQN	Mnih et al., Playing Atari with Deep Reinforcement Learning, 2013；Human-level control through deep reinforcement learning, 2015	函数逼近的背景入口
GAE	Schulman et al., High-Dimensional Continuous Control Using Generalized Advantage Estimation, 2015	优势估计定义的出处
TRPO	Schulman et al., Trust Region Policy Optimization, 2015	约束更新的出处
PPO	Schulman et al., Proximal Policy Optimization Algorithms, 2017	PPO-Clip；并参考官方 Spinning Up 说明
GRPO	Shao et al., DeepSeekMath, 2024	第 4 节，结果监督与组相对优势
GSPO	Zheng et al., Group Sequence Policy Optimization, 2025	第 2、4 节，token 与序列目标对照

列出论文不表示已完成论文复现。有关 GRPO/GSPO 的实测优劣，须对照原文的模型、数据与预算；本项目首版不重述其性能数字。