路线与进度¶
强化学习主线已按赵世钰《Mathematical Foundations of Reinforcement Learning》2024-09 版重新编排。作者已学过的内容与工程交付状态分别记录：伴读和小实验完成，不表示每个原书证明、每个数值实验都已复现。
第一阶段：按教材建立可检查的主线¶
| 章 | 当前交付 | 继续完善 |
|---|---|---|
| 1 · 基本概念 | 原书环境规则、轨迹动画、Python 模型 | 接入手写定义与更多反例 |
| 2 · Bellman 方程 | 条件期望、矩阵形式、评估与动作价值动画 | 补充手稿中的逐步证明 |
| 3 · 最优方程 | 策略最大化、收缩映射、固定点动画 | 补充范数和策略非唯一的例子 |
| 4 · VI / PI | 三类迭代的公式、对照动画与代码 | 记录计算量与精度的对照 |
| 5 · MC | 均值与探索讲解、回报采样、ε-greedy | 增加完整 MC control 训练 |
| 6 · 随机逼近 | 增量均值、RM、SGD 与步长对照 | 补充 Dvoretzky 证明笔记 |
| 7 · TD | TD / Sarsa / Q-learning 评估与目标对照 | 增加终止任务与控制训练报告 |
| 8 · 价值函数方法 | TD 共享特征与目标冻结机制 | 完整神经网络 DQN 和特征消融 |
| 9 · 策略梯度 | 指标、状态权重、精确梯度小实验 | 一般 MDP 的 REINFORCE 训练 |
| 10 · Actor-Critic | 单状态 A2C、重要性采样 | 一般 QAC、off-policy 与连续控制 |
16 个书内动画和 4 个扩展数学动画已配套可运行代码。主线统一符号；原书页码与少量校勘集中在阅读对照。自己的推导接入时仍需逐步核对，不能仅因已经学过就标记为已审阅。
书外扩展¶
TRPO、PPO、GRPO、GSPO 保留为独立扩展区，先用目标函数数值实验理解机制，再逐步增加完整训练。语言模型后训练与物理控制的证据分别记录。
第二阶段：从算法进入机器人系统¶
| 模块 | 最小交付物 | 完成条件 |
|---|---|---|
| 机器人学与控制 | 平面二连杆、坐标变换与 PD 反馈实验 | 单位、坐标与控制周期明确 |
| 连续控制 | 一个低维连续任务 | 多种子训练与独立评测 |
| 模仿学习 | 一个示范数据小任务 | 离线误差与闭环成功率同时报告 |
| VLA | 公开模型输入输出检查 | 动作各维、频率和执行接口明确 |
| 世界模型 | 动作条件预测实验 | 预测质量与决策效果分开评测 |
| Sim2Real | 仿真扰动报告 | 有真实设备后再报告迁移证据 |
这些机器人模块仍处于规划阶段。每次推进一个具体任务，保留代码版本、参数、原始试验数和失败类型。