junior.gj/thesis
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

v2.0ack

Browse Source
This commit is contained in:
Junior
2024-05-20 23:20:53 +08:00
parent c7b9bdf729
commit ef139f315c
9 changed files with 362 additions and 103 deletions
Download Patch File Download Diff File Expand all files Collapse all files
chap/chap2.tex
+25 -25
View File
@@ -3,7 +3,7 @@
\chapter{多波束卫星系统概述}% 中文测试文字。
\section{引言}
多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及能够满足越来越大的系统容量需求等特点，正在受到更加广泛的关注和研究\supercite{甘仲民2006卫星通信技术的新发展}。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国在民用手机直连卫星领域广泛发展的天通系统，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quatinty of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。
多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及巨大的系统容量等特点，正在受到更加广泛的关注和研究\supercite{甘仲民2006卫星通信技术的新发展}。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国可用于手机的天通系统\supercite{纪明星2018天通一号卫星移动通信系统市场及应用分析}，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quatinty of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。
基于多波束卫星的资源分配问题，本章将介绍多波束卫星通信系统的基础知识背景，首先将简要地介绍多波束卫星系统的基本构成，对多波束卫星系统常用的技术进行整理归纳；之后，本文将讨论卫星通信系统中必不可少的空间传输特性；最后，本章将对本文中使用到的序列决策模型和深度学习技术进行介绍。
\section{多波束卫星系统主要结构}
@@ -20,7 +20,7 @@
\subsection{波束与频率复用}
如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出地面蜂窝通信系统类似的蜂窝状结构\supercite{刘刚2004卫星蜂窝通信系统中的点波束设计}。根据公式\ref{eq:gain_alpha},波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡等特征。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。而跳波束卫星则搭载了跳波束控制器，将数据流分发给地面上不同的波位实现通信\supercite{etsi2005digital}。
如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出与地面蜂窝通信系统类似的蜂窝状结构\supercite{刘刚2004卫星蜂窝通信系统中的点波束设计}。根据式\ref{eq:gain_alpha},波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。而跳波束卫星则搭载了跳波束控制器，将数据流分发给地面上不同的波位实现通信\supercite{etsi2005digital}。
@@ -46,7 +46,7 @@
\label{fig:fourcolor}
\end{figure}
不同方案的频率复用方式能够带来不同的频谱效率（定义为单位带宽上的信道容量），图\ref{fig:freqency_efficient}分析了在卫星发射功率一定、波束间功率相等的情况下，不同$N$的频率复用方案中频谱效率在不考虑共频干扰情况下随着波束数量的关系的变化图。相比而言，采用多波束频率复用方案的情况下，频谱效率随着波束数量的增加而增加，在波束数量相同的情况下，频率复用程度越高，效率也就越高。但随着频谱复用程度的提高，同频干扰的程度也会增加，在星上有效载荷有限的情况下，在面对不同波束用户需求的场景下，如何合理动态的分配频率资源实现用户QoS与频谱效率的平衡，是本文的研究重点。
不同方案的频率复用方式能够带来不同的频谱效率（定义为单位带宽上的信道容量），图\ref{fig:freqency_efficient}分析了在卫星发射功率一定、波束间功率相等的情况下，不同$N$的频率复用方案中频谱效率在不考虑同频干扰情况下随着波束数量的关系的变化图。相比而言，采用多波束频率复用方案的情况下，频谱效率随着波束数量的增加而增加，在波束数量相同的情况下，频率复用程度越高，效率也就越高。但随着频谱复用程度的提高，同频干扰的程度也会增加，在星上有效载荷有限的情况下，在面对不同波束用户需求的场景下，如何合理动态的分配频率资源实现用户QoS与频谱效率的平衡，是本文的研究重点。
\begin{figure}[hbpt]
\centering
@@ -57,7 +57,7 @@
\subsection{跳波束模型}
跳波束的模型可以使用图\ref{fig:bhh}所描述，通过时隙窗口的分配结果决定各个波束在哪些时隙内工作以及各个时隙内哪些波束同时工作\supercite{panthi2017beam}。
跳波束的模型可以使用图\ref{fig:bhh}所描述，每个时隙窗口进行一次波束分配，时隙窗口的分配结果决定各个波束的工作区域\supercite{panthi2017beam}。
\begin{figure}[hbpt]
\begin{small}
@@ -78,7 +78,7 @@
\section{空间传输特性}
\subsection{天线增益}
卫星使用天线进行上行信号的接收和下行信号的发射，并且实现对信道的放大处理。多波束天线主要包括了多波束相控阵天线、多波束透镜天线以及反射面天线等三种。反射面天线常用于同步轨道的卫星通信系统，透镜天线则应用较少\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。相控阵天线在多波束卫星通信系统中有着越来越广泛的应用，包括StarLink在内的近地轨道卫星全球互联网接入服务都是用了有源相控阵天线技术为了为用户提供技术服务。多波束卫星的相控阵卫星天线有多个相同的天线元间距均匀排列而成，通过波束形成网络激励生成所需要的不同形状的相互独立的波束，对波束的数目等进行灵活的配置与管理。下面以多波束天线为例，给出多波束卫星天线的传输模型。
卫星使用天线进行上行信号的接收和下行信号的发射，并且实现对信道的放大处理。多波束天线主要包括了多波束相控阵天线、多波束透镜天线以及反射面天线等三种。反射面天线常用于同步轨道的卫星通信系统，透镜天线则应用较少\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。相控阵天线在多波束卫星通信系统中有着越来越广泛的应用，包括StarLink在内的近地轨道卫星全球互联网接入服务都是用了有源相控阵天线技术\supercite{徐冰玉2021starlink}。多波束卫星的相控阵卫星天线有多个相同的天线元间距均匀排列而成，通过波束形成网络激励生成所需要的不同形状的相互独立的波束，对波束的数目等进行灵活的配置与管理。下面给出多波束卫星天线的传输模型。
天线增益是对一定方向上信号发射和接收的能力，天线在其最辐射方向上具有最大的增益，可以表示为：
\begin{equation}
@@ -124,7 +124,7 @@
\label{fig:pb}
\end{figure}
天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的共频干扰。ITU给出了各种多波束天线的旁瓣辐射特征\supercite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了四部分(\ref{fig:pb})，用公式表示为：
天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的同频干扰。ITU给出了各种多波束天线的旁瓣辐射特征模型\supercite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了四部分(\ref{fig:pb})，用公式表示为：
\begin{equation}
G(\alpha) = \begin{cases}
@@ -194,7 +194,7 @@
\subsubsection{系统噪声}
% 在卫星通信系统中，从卫星发射端对接收端的信号检测解调过程中，都存在这噪声的干扰，根据奈奎斯特公式，噪声的功率为
电子元件中存在热扰动，由此会产生一定的热噪声，这一噪声被称为奈奎斯特噪声，热噪声的功率通常使用公式\ref{eq:noise}表达。
电子元件中存在热扰动，由此会产生一定的热噪声，这一噪声被称为奈奎斯特噪声\supercite{johnson1928thermal}，热噪声的功率通常使用公式\ref{eq:noise}表达。
\begin{equation}
N = kTB
\label{eq:noise}
@@ -209,7 +209,7 @@
\end{equation}
$P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益和新账号的发射增益。$L$代表传输的损耗，包括自由空间传播损耗以及其他损耗。
实际系统中，定义天线的发射增益事最大辐射方向单位立体角发射功率和各向同性天线的单位立体角 发射功率之比，等效各向同性辐射功率（Effective Isotropic Radiated Power, EIPR）为
实际系统中，定义天线的发射增益事最大辐射方向单位立体角发射功率和各向同性天线的单位立体角 发射功率之比，等效各向同性辐射功率（Effective Isotropic Radiated Power, EIPR）\supercite{ilvcev2017global}为
\begin{equation}
@@ -237,12 +237,12 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
在一定时间序列内对卫星资源进行分配可以视为是序列决策问题，是资源管理中常见的优化问题。这一问题通常被建模为马尔可夫决策过程（Markov Decision Process，MDP）\supercite{russell2016artificial}，本节主要对序列决策和MDP进行阐述。
\subsection{序列决策概述}\label{sec:decision}
在控制理论中，序列决策通常涉及到在一系列离散的时间步骤里，根据当前系统状态和信息，进行一系列的决策，以达到某种优化目标。在优化问题中，序列决策的每一个步骤都会对后续决策和整体的性能产生影响，但在局部看，序列决策的结果并不一定是最优结果。例如数学、管理学和计算机科学等领域应用较多的动态规划算法（Dynamic Programming，DP），会将整体问题拆解为具有重复子问题和最优子结构的序列决策问题，通过最小化或最大化某种目标函数的形式得到整体问题的最优解。另一个常见的场景是的棋牌类比赛中，下棋的每一步都会对整个后续棋局造成影响，单步的下棋策略往往不是最优甚至某些时候是非常糟糕的策略，而整体的收益会在比赛结束后得到结果。
通常，序列决策问题的求解有多重方法。当所有可能的状态完全已知或者问题具有固定的概率分布，可以通过编程实现有限状态机的方法进行求解。这样方法要求在软件设计阶段，程序开发人员能够遇见到所有可能的情况。但是在实际的问题中，状态空间和动作空间都具有不确定性，穷举所有状态、设计有限状态机的方法不再现实。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\supercite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）等方式，能够有效的解决序列决策问题。
在控制理论中，序列决策（Sequential Decision Making）通常指在一系列离散的时间步骤里，根据当前系统状态和信息，进行一系列的决策，以达到某种优化目标\supercite{littman1996algorithms}。在优化问题中，序列决策的每一个步骤都会对后续决策和整体的性能产生影响，但在局部看，序列决策的结果并不一定是最优结果。常见的序列决策思想有动态规划（Dynamic Programming，DP）\supercite{bellman1966dynamic}，这种算法在数学、管理学和计算机科学等领域有较多应用，这种方法会将整体问题拆解为具有重复子问题和最优子结构的序列决策问题，通过最小化或最大化某种目标函数的形式得到整体问题的最优解。另一个常见的场景是棋牌类比赛，下棋的每一步都会对整个后续棋局造成影响，单步的下棋策略往往不是最优甚至某些时候是非常糟糕的策略，而整体的收益会在比赛结束时得到体现。
通常，序列决策问题的求解有多种方法。当所有可能的状态已知或者问题具有固定的概率分布时，可以通过编程实现有限状态机的方法进行求解。这样方法要求在软件设计阶段，程序开发人员能够遇见到所有可能的情况。但是在实际的问题中，状态空间和动作空间都具有不确定性，穷举所有状态、设计有限状态机的方法不再现实。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\supercite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）\supercite{russell2016artificial}等方式，能够有效的解决序列决策问题。
\subsection{马尔科夫决策过程}
马尔科夫决策过程是描述决策问题的数学框架，其基于马尔科夫链和决策理论的结合，可以使用四元组进行描述$<\mathcal{S},\mathcal{A},T,R>$，即状态空间、动作空间、状态转移函数和奖励函数：
马尔科夫决策过程是描述决策问题的数学框架，其基于马尔科夫链，可以使用四元组进行描述$<\mathcal{S},\mathcal{A},T,R>$，即状态空间、动作空间、状态转移函数和奖励函数\supercite{puterman1990markov}：
\begin{enumerate}
\item \textbf{状态空间（State Space）}：状态空间是描述系统状态的集合，通常用$S\mathcal{S}$表示，$s \in \mathcal{S}$表示系统的一个状态。每个状态代表系统在当前时间节点特定的情况或者配置。状态空间可以分为离散状态空间和连续状态空间，离散的状态空间通常用有限的集合表示，表示状态空间的有限性。例如在围棋中，如果将棋盘棋子情况作为状态，每个格点可以有三个状态之一：空、黑棋、白棋，那么状态空间的大小为$3^{361}$。而连续的状态空间代表有无限的状态，例如机器人在二维平面上移动的问题，其状态空间可以视为是二维笛卡尔坐标系，每个点$(x,y)$都可以视为一个状态，其状态的表征具有无限的可能性。
\item \textbf{动作空间（Action Space）}：动作是运动系统从一个状态到另一个状态的操作，动作的集合成为动作空间，通常用$\mathcal{A}$表示，$a \in \mathcal{A}$表示系统的一个动作。同样地，动作空间也可以分为离散动作空间和连续动作空间。围棋的动作空间可以表示为在棋盘上放置一颗棋子，其可能的动作数量为$361$个，是有限的；可以用机器人的速度$(v_x, v_y)$代表二维空间机器人移动问题的动作，该动作是无限的。状态空间和动作空间的离散性并不是对应的关系，存在状态空间是连续的，动作空间是离散的情况，同样存在状态空间离散但动作空间连续的情况。
@@ -264,7 +264,7 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
% \subsection{启发式搜索概述}
\subsection{强化学习}
\subsubsection{概述}
基于马尔可夫决策过程，强化学习通过与环境的不断交互获得最优的动作选择策略$\pi^*$。图\ref{fig:rl}给出了强化学习算法的典型结构框架，问题建模成为马尔可夫过程，在这其中设置一个智能体（agent），智能体观察环境中的状态信息并且接收奖励信息，然后基于状态选择特定的动作执行，而动作会改变环境更新状态并且得到奖励信息，智能体通过奖励调整策略$\pi$。
基于马尔可夫决策过程，强化学习通过与环境的不断交互获得最优的动作选择策略$\pi^*$。图\ref{fig:rl}给出了强化学习算法的典型结构框架，问题建模成为马尔可夫过程，在这其中设置一个智能体（Agent），智能体观察环境中的状态信息并且接收奖励信息，然后基于状态选择特定的动作执行，而动作会改变环境更新状态并且得到奖励信息，智能体通过奖励调整策略$\pi$。
\begin{figure}[hbpt]
\centering
\includegraphics[width=0.75\textwidth]{chap/figures/rl.png}
@@ -335,7 +335,7 @@ $Q(s,a)$表示对于$(s,a)$在策略$\pi$下的期望奖励，动作价值函数
\textbf{（2）基于策略的强化学习方法}
基于策略的RL方法相比基于值的方法，其基本思想是直接通过学习优化策略函数。策略梯度算法是这一类算法的代表。使用$\pi(s,a;\theta)$代表一个策略函数，其中$\theta$为网络参数权重，策略梯度通过梯度上升法更新$\theta$从而优化策略。具体而言，智能体在图\ref{fig:rl}的框架中不断与环境交互获得周期序列$s_1,a_1,r_1,s_2,a_2,r_2,\cdots,s_t,a_t,r_t$，这样的周期被称为迹（$\lambda$），迹发生的概率可以表示为
基于策略的RL方法相比基于值的方法，其基本思想是直接通过学习优化策略函数。策略梯度算法是这一类算法的代表。使用$\pi(s,a;\theta)$代表一个策略函数，其中$\theta$为策略函数内部参数权重的取值，在深度强化学习中代表深度神经网络的网络参数，策略梯度通过梯度上升法更新$\theta$从而优化策略。具体而言，智能体在图\ref{fig:rl}的框架中不断与环境交互获得周期序列$s_1,a_1,r_1,s_2,a_2,r_2,\cdots,s_t,a_t,r_t$，这样的周期被称为迹（$\lambda$），迹发生的概率可以表示为
\begin{equation}
\begin{aligned}
P_{\theta}(\lambda) &= P(s_1)\pi(s_1,a_1;\theta)P(s_2|s_1,a_1)\pi(s_2,a_2;\theta)\cdots P(s_t|s_{t-1},a_{t-1})\pi(s_t,a_t;\theta) \\
@@ -366,7 +366,7 @@ $Q(s,a)$表示对于$(s,a)$在策略$\pi$下的期望奖励，动作价值函数
\textbf{（3）基于AC的强化学习方法}
基于Actor-Critic（AC，行动者-评论者）的强化学习方法是基于值和基于策略的RL方法的结合形式。在现实策略中，根据式\ref{eq:a_star}选择最优动作的基于值的RL方法无法实现连续空间的动作。例如Q学习方法通过Q表存储动作价值函数，在面对连续动作时需要离散量化，进行决策时需要遍历所有的动作空间得到最优解，当连续动作的离散化维度高时，算法的复杂度极高、难以收敛。而另一方面，基于策略的强化学习算法每次交互需要获取到的足够长度的迹才能实现更新，收敛速度慢。AC方法通过将策略函数和价值函数结合，通过价值函数评估策略函数的优劣，通过策略函数优化价值函数的评估，实现了连续动作空间的优化。AC方法的基本思想是通过一个行动者（Actor）和一个评论者（Critic）来实现。行动者负责选择动作，评论者负责评估行动者的动作。行动者根据评论者的评估调整策略，评论者根据行动者的策略评估价值函数。图\ref{fig:ACRL}反映了这种框架的结构，Critic使用基于值的方法评估动作优劣，Actor使用基于策略的方法选择动作。此外，RL分配还包括有模型RL和无模型RL、在线RL和离线RL、同策略RL和异策略RL等，此处不再赘述。
基于Actor-Critic（AC，演员-评论家）的强化学习方法是基于值和基于策略的RL方法的结合形式\supercite{konda1999actor}。根据式\ref{eq:a_star}选择最优动作的基于值的RL方法无法实现连续空间的动作。例如Q学习方法通过Q表存储动作价值函数，在面对连续动作时需要离散量化，进行决策时需要遍历所有的动作空间得到最优解，当连续动作的离散化维度高时，算法的复杂度极高、难以收敛。而另一方面，基于策略的强化学习算法每次交互需要获取到的足够长度的迹才能实现更新，收敛速度慢。AC方法通过将策略函数和价值函数结合，通过价值函数评估策略函数的优劣，通过策略函数优化价值函数的评估，实现了连续动作空间的优化。AC方法的基本思想是通过一个演员（Actor）和一个评论家（Critic）来实现。演员负责选择动作，评论家负责评估演员的动作。演员根据评论家的评估调整策略，评论家根据演员的策略评估价值函数。图\ref{fig:ACRL}反映了这种框架的结构，Critic使用基于值的方法评估动作优劣，Actor使用基于策略的方法选择动作。此外，RL分配还包括有模型RL和无模型RL、在线RL和离线RL、同策略RL和异策略RL等，此处不再赘述。
\begin{figure}[hbpt]
\centering
@@ -384,7 +384,7 @@ DRL算法作为机器学习的一种，结合了RL的序列决策能力和DL的
% 深度学习（Deep Learing，DL）是使用深度神经网络（Deep Neural Network，DNN）作为模型提取特征、对复杂函数进行的非线性拟合的一种方法。DNN包括输入层、隐藏层输出层，每一层包括多个神经元，每个神经元通过激活函数对输入信号进行处理。DNN通过反向传播算法（Back Propagation，BP）不断调整权重，使得模型的输出与真实值之间的误差最小化。DNN的优势在于可以处理大量的数据，提取数据的高阶特征，对复杂的非线性函数进行拟合。DNN的缺点在于需要大量的数据进行训练，容易过拟合，训练时间长，模型的解释性差。
% % vim:ts=4:sw=4
深度学习（DL）是一种通过使用深度神经网络（DNN）来提取特征和进行复杂函数的非线性拟合的技术。DNN 架构包括输入层、多个隐藏层以及输出层，每层由多个神经元组成，这些神经元利用激活函数处理输入信号。通过反向传播算法（BP），DNN 不断调整神经元间的连接权重，以最小化模型输出与实际值之间的误差。DNN 的主要优势是其能够处理大规模数据集，提取高阶特征，并对复杂的非线性关系进行有效拟合。然而，DNN 也存在一些局限，如需要大量数据支持训练，容易发生过拟合，训练过程耗时，且模型的可解释性较差。图\ref{fig:DNN}描述了深度神经网络的基本结构。在隐藏层中，最基本的是全连接层，其结构就是每层的所有神经元都与下一层全部的神经元相连接。第$i$层的第$j$个神经元的输出为：
深度学习（DL）是一种通过使用深度神经网络（DNN）来提取特征和进行复杂函数的非线性拟合的技术\supercite{russell2016artificial}。DNN 架构包括输入层、多个隐藏层以及输出层，每层由多个神经元组成，这些神经元利用激活函数处理输入信号。通过反向传播算法（BP），DNN 不断调整神经元间的连接权重，以最小化模型输出与实际值之间的误差。DNN 的主要优势是其能够处理大规模数据集，提取高阶特征，并对复杂的非线性关系进行有效拟合。然而，DNN 也存在一些局限，如需要大量数据支持训练，容易发生过拟合，训练过程耗时，且模型的可解释性较差。图\ref{fig:DNN}描述了深度神经网络的基本结构。在隐藏层中，最基本的是全连接层，其结构就是每层的所有神经元都与下一层全部的神经元相连接。第$i$层的第$j$个神经元的输出为：
\begin{figure}[hbpt]
\centering
@@ -404,7 +404,7 @@ DRL算法作为机器学习的一种，结合了RL的序列决策能力和DL的
\text{ReLU}(x) &= \max(0,x)
\end{align}
常见的DNN有卷积神经网络（CNN）、循环神经网络（RNN）、对抗神经网络（GAN）等。本文中所提出的算法主要使用了CNN网络，CNN网络是专门用于处理具有网格矩阵结构的数据，广泛应用于计算机视觉领域。CNN网络主要包含卷积层、池化层、全连接层（图\ref{fig:cnn}）。卷积层的主要作用是对输入数据进行卷积运算用于提出特征（图\ref{fig:conv}），池化层承接卷积层的输出，通过数据降维的方式避免过拟合。
常见的DNN有卷积神经网络（CNN）、循环神经网络（RNN）、对抗神经网络（GAN）等\supercite{russell2016artificial}。本文中所提出的算法主要使用了CNN网络，CNN网络是专门用于处理具有网格矩阵结构的数据，广泛应用于计算机视觉领域。CNN网络主要包含卷积层、池化层、全连接层（图\ref{fig:cnn}）。卷积层的主要作用是对输入数据进行卷积运算用于提出特征（图\ref{fig:conv}），池化层承接卷积层的输出，通过数据降维的方式避免过拟合。
% 卷积层通过卷积核对输入数据进行特征提取，池化层通过降采样的方式减少数据维度，全连接层通过神经元之间的连接实现数据的分类。CNN网络的主要优势在于其能够有效提取数据的空间特征，对图像数据的处理效果显著。
\begin{figure}[hbpt]
\centering
@@ -432,15 +432,15 @@ DRL算法作为机器学习的一种，结合了RL的序列决策能力和DL的
算法名称 & 算法目的 \\
\midrule
DQN & 解决Q学习中的高维状态空间问题 \\
DPG & 简化策略梯度算法 \\
DDPG & DQN与DPG结合 \\
Nature DQN & 提高DQN的训练速度 \\
Double DQN & 提高DQN的稳定性 \\
Dueling DQN & 提高DQN的性能 \\
A3C & 强化学习并行化 \\
PPO & 解决策略梯度利用率低 \\
TD3 & 解决DDPG中的过估计问题 \\
SAC & 避免陷入局部最优 \\
DPG\supercite{silver2014deterministic} & 简化策略梯度算法 \\
DDPG\supercite{lillicrap2015continuous} & DQN与DPG结合 \\
Nature DQN\supercite{mnih2015human} & 提高DQN的训练速度 \\
Double DQN \supercite{van2016deep} & 提高DQN的稳定性 \\
Dueling DQN \supercite{wang2016dueling} & 提高DQN的性能 \\
A3C\supercite{mnih2016asynchronous} & 强化学习并行化 \\
PPO\supercite{schulman2017proximal} & 解决策略梯度利用率低 \\
TD3\supercite{fujimoto2018addressing} & 解决DDPG中的过估计问题 \\
SAC\supercite{haarnoja2018soft} & 避免陷入局部最优 \\
\bottomrule
\end{tabular}
\end{table}