符号体系与阅读约定

本项目主线采用赵世钰《Mathematical Foundations of Reinforcement Learning》2024 年 9 月版。主要依据是第 1、2、8、9、10 章与印刷页 271–272 的 Symbols。章节与原版页码的完整对应见阅读对照。

大小写、集合与样本

记号	含义与使用方式
\(\mathcal S,\mathcal A(s),\mathcal R(s,a)\)	状态、动作、奖励的集合；不要将奖励集合与实数集 \(\mathbb R\) 混用
\(S_t,A_t,R_{t+1}\)	随机状态、随机动作和随后获得的随机奖励
\(s_t,a_t,r_{t+1}\)	上述随机变量的一次具体取值或经验样本
\(p(s'\mid s,a)\)	给定状态动作对的下一状态概率
\(p(r\mid s,a)\)	给定状态动作对的奖励概率
\(\pi(a\mid s)\)	固定策略的动作概率
\(G_t,g_t\)	折扣回报随机变量与一次采样回报
\(\gamma\in(0,1)\)	前 8 章默认使用的折扣率；第 9 章另讨论不折扣平均奖励

大写字母用于随机变量或矩阵，小写字母用于标量、向量和样本。正文适当用粗体强调向量，但不更换字母、下标或数学含义。

价值、模型平均与最优值

记号	定义
\(v_\pi(s)\)	\(\mathbb E[G_t\mid S_t=s]\)，策略 \(\pi\) 的状态价值
\(q_\pi(s,a)\)	\(\mathbb E[G_t\mid S_t=s,A_t=a]\)，第一步动作固定、之后跟随 \(\pi\)
\(r_\pi(s)\)	\(\sum_a\pi(a\mid s)\sum_rp(r\mid s,a)r\)，策略下的期望即时奖励
\(p_\pi(s'\mid s)\)	\(\sum_a\pi(a\mid s)p(s'\mid s,a)\)，策略诱导的转移概率
\(\boldsymbol v_\pi,\boldsymbol r_\pi,P_\pi\)	价值向量、奖励向量和逐行随机的转移矩阵
\(v^*,\pi^*\)	最优价值与一个最优策略；前者唯一不意味着后者唯一
\(v_t,q_t\)	表格方法在时刻 \(t\) 的估计，不自动等于真实 \(v_\pi,q_\pi\)

函数逼近与策略优化

记号	原书中的角色
\(\hat v(s,w),\hat q(s,a,w)\)	第 8 章的近似价值函数
\(\phi(s),w\)	特征向量与价值参数，\(\hat v=\phi^{\mathsf T}(s)w\)
\(\pi(a\mid s,\theta)\)	第 9 章的参数化随机策略
\(\mu(s,\theta)\)	第 10 章的确定性策略，输出动作本身
\(d_0,d_\pi\)	固定状态分布与策略的平稳分布
\(\rho_\pi\)	第 9 章的折扣访问权重；按原书定义一般未归一化
\(\bar v_\pi^0,\bar v_\pi,\bar r_\pi\)	固定分布平均价值、平稳分布平均价值、平均奖励
\(\delta_\pi(s,a)\)	原书第 10 章的优势函数 \(q_\pi(s,a)-v_\pi(s)\)
\(\delta_t\)	一次样本的 TD 误差；它不是优势函数本身
\(\beta(a\mid s)\)	行为策略；与目标策略 \(\pi\) 区分

第 10 章算法框会把估计函数简写为 \(v(s,w),q(s,a,w)\)。正文在对应位置说明这种省略，不把它们当作已经精确求得的真实函数。

数学操作与逻辑关系

沿原书，\(\doteq\) 是定义，\(=\) 是等式，\(\approx\) 是近似；\(\geq\) 用于逐元素比较，\(A\succeq0\) 用于矩阵半正定，二者不同。\(\|\cdot\|_2\) 与 \(\|\cdot\|_\infty\) 也不能随意互换。\(\ln\) 是自然对数，\(\nabla_xf(x)\) 是对 \(x\) 的梯度。

扩展章节的新增记号会单独定义。例如用 \(\omega\) 表示新旧策略概率比率，避免与书内 \(\rho_\pi\) 的状态访问权重混淆；用 \(\hat\delta\) 表示估计优势。

原书的少量排印与归一化问题在阅读校勘列出。遵循原书体系不意味着把明显的笔误继续传播为新的定义。