junior.gj/thesis
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

v2.1ack

Browse Source
This commit is contained in:
Junior
2024-05-21 23:00:55 +08:00
parent ef139f315c
commit 94f61bfa61
16 changed files with 155 additions and 103 deletions
Download Patch File Download Diff File Expand all files Collapse all files
chap/chap2.tex
+23 -24
View File
@@ -3,7 +3,7 @@
\chapter{多波束卫星系统概述}% 中文测试文字。
\section{引言}
多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及巨大的系统容量等特点，正在受到更加广泛的关注和研究\supercite{甘仲民2006卫星通信技术的新发展}。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国可用于手机的天通系统\supercite{纪明星2018天通一号卫星移动通信系统市场及应用分析}，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quatinty of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。
多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及巨大的系统容量等特点，正在受到更加广泛的关注和研究\supercite{甘仲民2006卫星通信技术的新发展}。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国可用于手机的天通系统\supercite{纪明星2018天通一号卫星移动通信系统市场及应用分析}，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quality of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。
基于多波束卫星的资源分配问题，本章将介绍多波束卫星通信系统的基础知识背景，首先将简要地介绍多波束卫星系统的基本构成，对多波束卫星系统常用的技术进行整理归纳；之后，本文将讨论卫星通信系统中必不可少的空间传输特性；最后，本章将对本文中使用到的序列决策模型和深度学习技术进行介绍。
\section{多波束卫星系统主要结构}
@@ -20,7 +20,8 @@
\subsection{波束与频率复用}
如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出与地面蜂窝通信系统类似的蜂窝状结构\supercite{刘刚2004卫星蜂窝通信系统中的点波束设计}。根据式\ref{eq:gain_alpha},波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。而跳波束卫星则搭载了跳波束控制器，将数据流分发给地面上不同的波位实现通信\supercite{etsi2005digital}。
如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出与地面蜂窝通信系统类似的蜂窝状结构\supercite{刘刚2004卫星蜂窝通信系统中的点波束设计}。根据波束辐射特性（参见式\ref{eq:gain_alpha}），波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的-3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。
% 而跳波束卫星则搭载了跳波束控制器，将数据流分发给地面上不同的波位实现通信\supercite{etsi2005digital}。
@@ -31,7 +32,7 @@
\label{fig:starlinkrange}
\end{figure}
波束频率间复用技术\supercite{kreutel1977antenna}（frequency reuse, FR）就是将可以的带宽分多个不同的子波段，每一个波段可以在波束内进行复用，频率复用通过$N$色复用的形式描述，即将信道资源以均等的形式分配为多个分组，这样同一信道的就可以在多个不同小区的波束之间进行复用，从而提升频率效率和容量。图\ref{fig:fourcolor}展示了一个四色复用的例子，使用$N$色复用的情况下，波束的宽度设置为$\theta_b$，那么波束最小距离$\theta_c$ 为:
波束频率间复用技术\supercite{kreutel1977antenna}（frequency reuse, FR）就是将可用的带宽分多个不同的子波段，每一个波段可以在波束内进行复用，频率复用通过$N$色复用的形式描述，即将信道资源以均等的形式分配为多个分组，这样同一信道的就可以在多个不同小区的波束之间进行复用，从而提升频率效率和容量。图\ref{fig:fourcolor}展示了一个四色复用的例子，使用$N$色复用的情况下，波束的宽度设置为$\theta_b$，那么波束最小距离$\theta_c$ 为:
\begin{equation}
\theta_c = \frac{\theta_b\sqrt{3N}}{2}
\label{eq:minbw}
@@ -46,7 +47,7 @@
\label{fig:fourcolor}
\end{figure}
不同方案的频率复用方式能够带来不同的频谱效率（定义为单位带宽上的信道容量），图\ref{fig:freqency_efficient}分析了在卫星发射功率一定、波束间功率相等的情况下，不同$N$的频率复用方案中频谱效率在不考虑同频干扰情况下随着波束数量的关系的变化图。相比而言，采用多波束频率复用方案的情况下，频谱效率随着波束数量的增加而增加，在波束数量相同的情况下，频率复用程度越高，效率也就越高。但随着频谱复用程度的提高，同频干扰的程度也会增加，在星上有效载荷有限的情况下，在面对不同波束用户需求的场景下，如何合理动态的分配频率资源实现用户QoS与频谱效率的平衡，是本文的研究重点。
不同方案的频率复用方式能够带来不同的频谱效率（定义为单位带宽上的信道容量），图\ref{fig:freqency_efficient}分析了在卫星发射功率一定、波束间功率相等的情况下，不同$N$的频率复用方案中在不考虑同频干扰情况下频谱效率随波束数量的关系的变化图。采用多波束频率复用方案的情况下，频谱效率随着波束数量的增加而增加，在波束数量相同的情况下，频率复用程度越高，效率也就越高。但随着频谱复用程度的提高，同频干扰的程度也会增加，在星上有效载荷有限的情况下，在面对不同波束用户需求的场景下，如何合理动态地分配频率资源实现用户QoS与频谱效率的平衡，是本文的研究重点。
\begin{figure}[hbpt]
\centering
@@ -78,7 +79,7 @@
\section{空间传输特性}
\subsection{天线增益}
卫星使用天线进行上行信号的接收和下行信号的发射，并且实现对信道的放大处理。多波束天线主要包括了多波束相控阵天线、多波束透镜天线以及反射面天线等三种。反射面天线常用于同步轨道的卫星通信系统，透镜天线则应用较少\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。相控阵天线在多波束卫星通信系统中有着越来越广泛的应用，包括StarLink在内的近地轨道卫星全球互联网接入服务都是用了有源相控阵天线技术\supercite{徐冰玉2021starlink}。多波束卫星的相控阵卫星天线有多个相同的天线元间距均匀排列而成，通过波束形成网络激励生成所需要的不同形状的相互独立的波束，对波束的数目等进行灵活的配置与管理。下面给出多波束卫星天线的传输模型。
卫星使用天线进行上行信号的接收和下行信号的发射，并且实现对信号的放大处理。多波束天线主要包括了多波束相控阵天线、多波束透镜天线以及反射面天线等三种。反射面天线常用于同步轨道的卫星通信系统，透镜天线则应用较少\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。相控阵天线在多波束卫星通信系统中有着越来越广泛的应用，包括StarLink在内的近地轨道卫星全球互联网接入服务都是用了有源相控阵天线技术\supercite{徐冰玉2021starlink}。多波束卫星的相控阵卫星天线由多个相同的天线元间距均匀排列而成，通过波束形成网络激励生成所需要的不同形状的相互独立的波束，对波束的数目等进行灵活的配置与管理。下面给出多波束卫星天线的传输模型。
天线增益是对一定方向上信号发射和接收的能力，天线在其最辐射方向上具有最大的增益，可以表示为：
\begin{equation}
@@ -92,7 +93,7 @@
G_t = \eta (\frac{\pi D f}{c})^2
\label{eq:gain1}
\end{equation}
该式表明，卫星天线的最大增益与天线口径面积成正比、与信号载波频率的平方成正比。以图\ref{fig:spaceX}，卫星波束的覆盖范围由半波束角($\alpha_0$)和仰角（$\theta$）表述，通常以3dB波束宽度或者半功率波束宽度表述天线宽度：
该式表明，卫星天线的最大增益与天线口径面积成正比、与信号载波频率的平方成正比。如图\ref{fig:spaceX}，卫星波束的覆盖范围由半波束角($\alpha_0$)和仰角（$\theta$）表述，通常以3dB波束宽度或者半功率波束宽度表述天线宽度：
\begin{equation}
\alpha_{3dB} = 70(c/fD) = 2\alpha_0
\label{eq:3dB}
@@ -109,7 +110,7 @@
\caption{波束覆盖范围示意图}
\label{fig:spaceX}
\end{figure}
$\alpha$多波束天线的辐射特性由主瓣和旁瓣组成，
多波束天线的辐射特性由主瓣和旁瓣组成，
设主瓣天线方向角为$\alpha$时的增益为$G(\alpha)$，那么主瓣的辐射特性可以写为：
\begin{equation}
G(\alpha) = G_m - 3(\alpha/ \alpha_0)^2, 0 \le \alpha \le \alpha_0
@@ -124,7 +125,7 @@
\label{fig:pb}
\end{figure}
天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的同频干扰。ITU给出了各种多波束天线的旁瓣辐射特征模型\supercite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了四部分(\ref{fig:pb})，用公式表示为：
天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的同频干扰。ITU给出了各种多波束天线的旁瓣辐射特征模型\supercite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了三部分(式\ref{fig:pb})，用公式表示为：
\begin{equation}
G(\alpha) = \begin{cases}
@@ -163,7 +164,7 @@
\label{eq:Loss}
\end{equation}
其中$L_f$ 代表自由空间传播损耗，$L_g$ 代表大气吸收损耗，$L_r$ 雨衰。
其中$L_f$ 代表自由空间传播损耗，$L_g$ 代表大气吸收损耗，$L_r$代表雨衰。
\begin{enumerate}[label=(\arabic*)]
\item 自由空间传播损耗：电磁波在星地之间进行传播时，信号能量将会随着距离的增加而进行扩散，由此会产生的传播损耗被称为自由空间传播损耗\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。自由空间传播损耗是最基本的传播损失，由于自由空间的传播损失，用户终端接收到的信号功率仅占发射功率极小部分。自由空间的传输损耗与传播距离的平方成正比，与载波波长成反比，由此定义自由空间传播损耗$L_f$为
@@ -207,13 +208,11 @@
P_r = \frac{P_tG_tG_r}{L}
\label{eq:P_R}
\end{equation}
$P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益和新账号的发射增益。$L$代表传输的损耗，包括自由空间传播损耗以及其他损耗。
实际系统中，定义天线的发射增益事最大辐射方向单位立体角发射功率和各向同性天线的单位立体角 发射功率之比，等效各向同性辐射功率（Effective Isotropic Radiated Power, EIPR）\supercite{ilvcev2017global}为
$P_t$是信号的发射功率，$G_r$代表终端的接收增益。$L$代表传输的损耗，包括自由空间传播损耗以及其他损耗。天线的发射增益$G_t$为天线在最大辐射方向上，单位立体角发射功率与各向同性天线的范围立体角发射功率之比。等效各向同性辐射功率（Effective Isotropic Radiated Power, EIRP）\supercite{ilvcev2017global}为
\begin{equation}
EIPR = G_t P_t
EIRP = G_t P_t
\label{eq:eipr}
\end{equation}
用户终端和接收系统的性能可以使用系统的品质系数表征，记作$\frac{G}{T}$
@@ -235,16 +234,16 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
\section{优化问题建模}
在一定时间序列内对卫星资源进行分配可以视为是序列决策问题，是资源管理中常见的优化问题。这一问题通常被建模为马尔可夫决策过程（Markov Decision Process，MDP）\supercite{russell2016artificial}，本节主要对序列决策和MDP进行阐述。
在一定时间序列内对卫星资源进行分配可以视为是序列决策问题，是资源管理中常见的优化问题。这一问题通常被建模为马尔科夫决策过程（Markov Decision Process，MDP）\supercite{russell2016artificial}，本节主要对序列决策和MDP进行阐述。
\subsection{序列决策概述}\label{sec:decision}
在控制理论中，序列决策（Sequential Decision Making）通常指在一系列离散的时间步骤里，根据当前系统状态和信息，进行一系列的决策，以达到某种优化目标\supercite{littman1996algorithms}。在优化问题中，序列决策的每一个步骤都会对后续决策和整体的性能产生影响，但在局部看，序列决策的结果并不一定是最优结果。常见的序列决策思想有动态规划（Dynamic Programming，DP）\supercite{bellman1966dynamic}，这种算法在数学、管理学和计算机科学等领域有较多应用，这种方法会将整体问题拆解为具有重复子问题和最优子结构的序列决策问题，通过最小化或最大化某种目标函数的形式得到整体问题的最优解。另一个常见的场景是棋牌类比赛，下棋的每一步都会对整个后续棋局造成影响，单步的下棋策略往往不是最优甚至某些时候是非常糟糕的策略，而整体的收益会在比赛结束时得到体现。
通常，序列决策问题的求解有多种方法。当所有可能的状态已知或者问题具有固定的概率分布时，可以通过编程实现有限状态机的方法进行求解。这样方法要求在软件设计阶段，程序开发人员能够遇见到所有可能的情况。但是在实际的问题中，状态空间和动作空间都具有不确定性，穷举所有状态、设计有限状态机的方法不再现实。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\supercite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）\supercite{russell2016artificial}等方式，能够有效的解决序列决策问题。
通常，序列决策问题的求解有多种方法。当所有可能的状态已知或者问题具有固定的概率分布时，可以通过编程实现有限状态机的方法进行求解。这样的方法要求在软件设计阶段，程序开发人员能够预见所有可能的情况。但是在实际的问题中，状态空间和动作空间极大甚至是无穷的，难以穷举所有状态。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\supercite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）\supercite{russell2016artificial}等方式，能够有效的解决序列决策问题。
\subsection{马尔科夫决策过程}
马尔科夫决策过程是描述决策问题的数学框架，其基于马尔科夫链，可以使用四元组进行描述$<\mathcal{S},\mathcal{A},T,R>$，即状态空间、动作空间、状态转移函数和奖励函数\supercite{puterman1990markov}：
马尔科夫决策过程是描述决策问题的数学框架，其基于马尔科夫链，可以使用四元组$<\mathcal{S},\mathcal{A},T,R>$描述，即状态空间、动作空间、状态转移函数和奖励函数\supercite{puterman1990markov}：
\begin{enumerate}
\item \textbf{状态空间（State Space）}：状态空间是描述系统状态的集合，通常用$S\mathcal{S}$表示，$s \in \mathcal{S}$表示系统的一个状态。每个状态代表系统在当前时间节点特定的情况或者配置。状态空间可以分为离散状态空间和连续状态空间，离散的状态空间通常用有限的集合表示，表示状态空间的有限性。例如在围棋中，如果将棋盘棋子情况作为状态，每个格点可以有三个状态之一：空、黑棋、白棋，那么状态空间的大小为$3^{361}$。而连续的状态空间代表有无限的状态，例如机器人在二维平面上移动的问题，其状态空间可以视为是二维笛卡尔坐标系，每个点$(x,y)$都可以视为一个状态，其状态的表征具有无限的可能性。
\item \textbf{状态空间（State Space）}：状态空间是描述系统状态的集合，通常用$\mathcal{S}$表示，$s \in \mathcal{S}$表示系统的一个状态。每个状态代表系统在当前时间节点特定的情况或者配置。状态空间可以分为离散状态空间和连续状态空间，离散的状态空间通常用有限的集合表示，表示状态空间的有限性。例如在围棋中，如果将棋盘棋子情况作为状态，每个格点可以有三个状态之一：空、黑棋、白棋，那么状态空间的大小为$3^{361}$。而连续的状态空间代表有无限的状态，例如机器人在二维平面上移动的问题，其状态空间可以视为是二维笛卡尔坐标系，每个点$(x,y)$都可以视为一个状态，其状态的表征具有无限的可能性。
\item \textbf{动作空间（Action Space）}：动作是运动系统从一个状态到另一个状态的操作，动作的集合成为动作空间，通常用$\mathcal{A}$表示，$a \in \mathcal{A}$表示系统的一个动作。同样地，动作空间也可以分为离散动作空间和连续动作空间。围棋的动作空间可以表示为在棋盘上放置一颗棋子，其可能的动作数量为$361$个，是有限的；可以用机器人的速度$(v_x, v_y)$代表二维空间机器人移动问题的动作，该动作是无限的。状态空间和动作空间的离散性并不是对应的关系，存在状态空间是连续的，动作空间是离散的情况，同样存在状态空间离散但动作空间连续的情况。
\item \textbf{状态转移函数（Transition Function）}：状态转移函数是描述系统在某个状态下执行某个动作后，系统转移到下一个状态的概率分布，通常用$T(s,a,s')$表示，$T(s,a,s')$表示在状态$s$执行动作$a$后，系统转移到状态$s'$的概率。状态转移函数满足概率密度函数的一般特性，即
\begin{align}
@@ -252,7 +251,7 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
\int_{s' \in S} T(s, a, s') = 1, \forall s \in \mathcal{S}, a \in \mathcal{A}
\label{eq:T_1}
\end{align}
同时概率转移函数满足马尔可夫性，即状态的转移只依赖于当前的状态和动作，与历史状态和动作无关，即
同时概率转移函数满足马尔科夫性，即状态的转移只依赖于当前的状态和动作，与历史状态和动作无关，即
\begin{equation}
P(s_{t+1}|s_t,a_t,s_{t-1},a_{t-1},\dots) = P(s_{t+1}|s_t,a_t)
\label{eq:markov}
@@ -264,15 +263,15 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
% \subsection{启发式搜索概述}
\subsection{强化学习}
\subsubsection{概述}
基于马尔可夫决策过程，强化学习通过与环境的不断交互获得最优的动作选择策略$\pi^*$。图\ref{fig:rl}给出了强化学习算法的典型结构框架，问题建模成为马尔可夫过程，在这其中设置一个智能体（Agent），智能体观察环境中的状态信息并且接收奖励信息，然后基于状态选择特定的动作执行，而动作会改变环境更新状态并且得到奖励信息，智能体通过奖励调整策略$\pi$。
基于马尔科夫决策过程，强化学习通过与环境的不断交互获得最优的动作选择策略$\pi^*$。图\ref{fig:rl}给出了强化学习算法的典型结构框架，问题建模成为马尔科夫过程，在这其中设置一个智能体（Agent），智能体观察环境中的状态信息并且接收奖励信息，然后基于状态选择特定的动作执行，而动作会改变环境更新状态并且得到奖励信息，智能体通过奖励调整策略$\pi$。
\begin{figure}[hbpt]
\centering
\includegraphics[width=0.75\textwidth]{chap/figures/rl.png}
\includegraphics[width=0.45\textwidth]{chap/figures/rl.png}
\caption{强化学习的结构框架}
\label{fig:rl}
\end{figure}
策略的优劣评估取决于奖励的取值，动作的选择考虑奖励因素时不仅要考虑当前的即时奖励，也要考虑未来的奖励值，通过奖励折现因子$gamma$来平衡当前奖励和未来奖励的关系。奖励函数可以写为
策略的优劣评估取决于奖励的取值，动作的选择考虑奖励因素时不仅要考虑当前的即时奖励，也要考虑未来的奖励值，通过奖励折现因子$\gamma$来平衡当前奖励和未来奖励的关系。奖励函数可以写为
\begin{equation}
R = \sum_{\tau=0}^{\infty} \gamma^{\tau} r_{t+\tau},\forall t
\label{eq:reward}
@@ -326,7 +325,7 @@ $Q(s,a)$表示对于$(s,a)$在策略$\pi$下的期望奖励，动作价值函数
\end{equation}
式\ref{eq:Q_star_iter}表明最优动作价值函数也可以通过迭代的方式得到。
基于价值函数、动作价值函数可以将强化学习分为基于值函数的强化学习、基于策略的强化学习以及基于策略-评论者（Actor-Critic，AC）的强化学习。
基于价值函数、动作价值函数可以将强化学习分为基于值函数的强化学习、基于策略的强化学习以及基于演员-评论家（Actor-Critic，AC）的强化学习。
\subsubsection{强化学习方法分类}
\textbf{（1）基于值的强化学习方法}
@@ -335,7 +334,7 @@ $Q(s,a)$表示对于$(s,a)$在策略$\pi$下的期望奖励，动作价值函数
\textbf{（2）基于策略的强化学习方法}
基于策略的RL方法相比基于值的方法，其基本思想是直接通过学习优化策略函数。策略梯度算法是这一类算法的代表。使用$\pi(s,a;\theta)$代表一个策略函数，其中$\theta$为策略函数内部参数权重的取值，在深度强化学习中代表深度神经网络的网络参数，策略梯度通过梯度上升法更新$\theta$从而优化策略。具体而言，智能体在图\ref{fig:rl}的框架中不断与环境交互获得周期序列$s_1,a_1,r_1,s_2,a_2,r_2,\cdots,s_t,a_t,r_t$，这样的周期被称为迹（$\lambda$），迹发生的概率可以表示为
基于策略的RL方法相比基于值的方法，其基本思想是直接通过学习优化策略函数。策略梯度算法是这一类算法的代表。使用$\pi(s,a;\theta)$代表一个策略函数，其中$\theta$为策略函数内部参数权重的取值，在深度强化学习中代表深度神经网络的网络参数，策略梯度通过梯度上升法更新$\theta$从而优化策略。具体而言，智能体在图\ref{fig:rl}的框架中不断与环境交互获得周期序列$s_1,a_1,r_1,s_2,a_2,r_2,\cdots,s_t,a_t,r_t$，这样的周期序列被称为迹（Trace, 使用$\lambda$表述），迹发生的概率可以表示为
\begin{equation}
\begin{aligned}
P_{\theta}(\lambda) &= P(s_1)\pi(s_1,a_1;\theta)P(s_2|s_1,a_1)\pi(s_2,a_2;\theta)\cdots P(s_t|s_{t-1},a_{t-1})\pi(s_t,a_t;\theta) \\
@@ -349,7 +348,7 @@ $Q(s,a)$表示对于$(s,a)$在策略$\pi$下的期望奖励，动作价值函数
\max_{\theta}J(\theta) = \mathrm{E}_{\lambda \sim P_{\theta}(\lambda)}[R(\lambda)]
\label{eq:J}
\end{equation}
此函数的目的是最大化迹奖励的期望，即增大高奖励迹出现的概率。每次迭代训练，智能体会基于现有策略与换看交互形成$N$个迹，通过以下公式对$J$取梯度并进行无偏估计：
此函数的目的是最大化迹奖励的期望，即增大高奖励迹出现的概率。每次迭代训练，智能体会基于现有策略与环境交互形成$N$个迹，通过以下公式对$J$取梯度并进行无偏估计：
\begin{equation}
\begin{aligned}
\nabla_{\theta}J(\theta) &= \mathrm{E}_{\lambda \sim P_{\theta}(\lambda)}[\nabla_{\theta}\log P_{\theta}(\lambda)R(\lambda)] \\