thesis/chap/chap2.tex

% Copyright (c) 2014,2016 Casper Ti. Vector
% Public domain.

\chapter{多波束卫星系统概述}% 中文测试文字。
\section{引言}
多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及巨大的系统容量等特点，正在受到更加广泛的关注和研究\supercite{甘仲民2006卫星通信技术的新发展}。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国可用于手机的天通系统\supercite{纪明星2018天通一号卫星移动通信系统市场及应用分析}，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quatinty of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。

基于多波束卫星的资源分配问题，本章将介绍多波束卫星通信系统的基础知识背景，首先将简要地介绍多波束卫星系统的基本构成，对多波束卫星系统常用的技术进行整理归纳；之后，本文将讨论卫星通信系统中必不可少的空间传输特性；最后，本章将对本文中使用到的序列决策模型和深度学习技术进行介绍。
\section{多波束卫星系统主要结构}
\subsection{基本组成}
卫星通信系统是指通过人造卫星作为中继站对信号进行转发实现地面与地面、地面与空间等多种不同设备终端通信传输的系统\supercite{ilvcev2017global}。卫星通信系统主要组成包括空间段、用户段、地面段，如图\ref{fig:leo}所示。空间段主要是指在轨卫星以及其组成的星座。地面段部分主要是由信关站和控制中心组成，信关站主要用于实现对卫星的跟踪、遥控，提供对卫星的管理控制以保证卫星的在轨正常运行。用户段是用户使用卫星进行通信的终端的集合，包括手持卫星终端（如卫星电话、支持卫星通话的手机等）、固定终端（如StarLink网络中使用的用于接收卫星信号的终端等）、机动终端（如车载卫星终端、能够提供空中卫星上网服务的飞机等）。卫星与用户终端的通信链路是用户链路（User Link），根据数据传输方向又可以分为上行链路与下行链路。卫星与地面信关站之间通过馈电链路（Feed Link）进行通信，而卫星星座之间的卫星间通信通过星间链路（Inner-Satellite Link）进行\supercite{ilvcev2017global}。

\begin{figure}[hbpt]
    \centering
    \includegraphics[width=0.7\textwidth]{chap/figures/leo.pdf}
    \caption{卫星通信系统}
    \label{fig:leo}
\end{figure}

\subsection{波束与频率复用}
    

    如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出与地面蜂窝通信系统类似的蜂窝状结构\supercite{刘刚2004卫星蜂窝通信系统中的点波束设计}。根据式\ref{eq:gain_alpha},波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。而跳波束卫星则搭载了跳波束控制器，将数据流分发给地面上不同的波位实现通信\supercite{etsi2005digital}。

    

\begin{figure}[hbpt]
    \centering
    \includegraphics[width=0.45\textwidth]{chap/figures/starlink_direct_to_cell.jpg}
    \caption{StarLink波束覆盖范围}
    \label{fig:starlinkrange}
\end{figure}

    波束频率间复用技术\supercite{kreutel1977antenna}（frequency reuse, FR）就是将可以的带宽分多个不同的子波段，每一个波段可以在波束内进行复用，频率复用通过$N$色复用的形式描述，即将信道资源以均等的形式分配为多个分组，这样同一信道的就可以在多个不同小区的波束之间进行复用，从而提升频率效率和容量。图\ref{fig:fourcolor}展示了一个四色复用的例子，使用$N$色复用的情况下，波束的宽度设置为$\theta_b$，那么波束最小距离$\theta_c$ 为:
    \begin{equation}
        \theta_c = \frac{\theta_b\sqrt{3N}}{2}
        \label{eq:minbw}
    \end{equation}
    
    在图\ref{fig:fourcolor}所示四色复用方案中，根据公式\ref{eq:minbw}计算得到波束最小距离为$\sqrt{3}\theta_b$，即每个小区在相隔一个波束距离外可以使用相同的信道。

    \begin{figure}[hbpt]
        \centering
        \includegraphics[width=0.75\textwidth]{chap/figures/beam_four_color.png}
        \caption{四色复用示意图}
        \label{fig:fourcolor}
    \end{figure}
    
    不同方案的频率复用方式能够带来不同的频谱效率（定义为单位带宽上的信道容量），图\ref{fig:freqency_efficient}分析了在卫星发射功率一定、波束间功率相等的情况下，不同$N$的频率复用方案中频谱效率在不考虑同频干扰情况下随着波束数量的关系的变化图。相比而言，采用多波束频率复用方案的情况下，频谱效率随着波束数量的增加而增加，在波束数量相同的情况下，频率复用程度越高，效率也就越高。但随着频谱复用程度的提高，同频干扰的程度也会增加，在星上有效载荷有限的情况下，在面对不同波束用户需求的场景下，如何合理动态的分配频率资源实现用户QoS与频谱效率的平衡，是本文的研究重点。

    \begin{figure}[hbpt]
        \centering
        \includegraphics[width=0.75\textwidth]{chap/figures/freqency_efficient.png}
        \caption{频谱效率随波束数量的关系图}
        \label{fig:freqency_efficient}
    \end{figure}

\subsection{跳波束模型}

跳波束的模型可以使用图\ref{fig:bhh}所描述，每个时隙窗口进行一次波束分配，时隙窗口的分配结果决定各个波束的工作区域\supercite{panthi2017beam}。

\begin{figure}[hbpt]
    \begin{small}
        \begin{center}
            \includegraphics[width=0.95\textwidth]{chap/figures/bhbh.png}
        \end{center}
        \caption{跳波束模型示意图}
        \label{fig:bhh}
    \end{small}
\end{figure}

% \subsection{gvdc gcdu 工作频段}
%     卫星通信系统的工作频段由国际电信联盟（International Telecommunication Union， ITU）进行统一协调管理，应用于卫星通信系统的主要频段有L、S、C、X、Ku、K、Ka、V等波段。



% 多波束卫星系统优异的系统传输性能吸引了越来越多的研究，其中资源分配、波束成形等技术手段越来越多地成为了研究的热点。在资源分配领域，由于波束的小区存在天气、地理环境、用户数量上的差异，不同的波束的用户量以及通信数据的需求之间也有所差别。由于星上的有效载荷限制，多波束卫星的星上资源如频谱资源、功率资源等十分有限，针对不同的传输需求，如何在星上有效载荷有限的情况下，尽可能满足用户端的需求，具有重要意义，也是本文的研究重点。
\section{空间传输特性}

\subsection{天线增益}
卫星使用天线进行上行信号的接收和下行信号的发射，并且实现对信道的放大处理。多波束天线主要包括了多波束相控阵天线、多波束透镜天线以及反射面天线等三种。反射面天线常用于同步轨道的卫星通信系统，透镜天线则应用较少\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。相控阵天线在多波束卫星通信系统中有着越来越广泛的应用，包括StarLink在内的近地轨道卫星全球互联网接入服务都是用了有源相控阵天线技术\supercite{徐冰玉2021starlink}。多波束卫星的相控阵卫星天线有多个相同的天线元间距均匀排列而成，通过波束形成网络激励生成所需要的不同形状的相互独立的波束，对波束的数目等进行灵活的配置与管理。下面给出多波束卫星天线的传输模型。

天线增益是对一定方向上信号发射和接收的能力，天线在其最辐射方向上具有最大的增益，可以表示为：
\begin{equation}
    G_t  = \frac{4\pi}{\lambda ^ 2} A_e
    \label{eq:gain}
\end{equation}


    其中，$A_e$是天线的等效口径面积，$\lambda$是信号载波的波长，满足$\lambda=\frac{c}{f}$,$c$是光速，$f$是载波频率。天线的等效口径面积$A_e = \eta A = \eta \cdot \pi D^2 /4$ ，$D$是天线的口径，$\eta$是天线的效率，\ref{eq:gain}可以改写为：
    \begin{equation}
        G_t = \eta (\frac{\pi D f}{c})^2
        \label{eq:gain1}
    \end{equation}
    该式表明，卫星天线的最大增益与天线口径面积成正比、与信号载波频率的平方成正比。以图\ref{fig:spaceX}，卫星波束的覆盖范围由半波束角($\alpha_0$)和仰角（$\theta$）表述，通常以3dB波束宽度或者半功率波束宽度表述天线宽度：
        \begin{equation}
            \alpha_{3dB} = 70(c/fD) = 2\alpha_0
            \label{eq:3dB}
        \end{equation}
        从而最大增益可以写为：
        \begin{equation}
            G_m = \eta (\frac{70\pi}{\alpha_{3dB}})^2
            \label{eq:gm}
        \end{equation}
        
        \begin{figure}[hbpt]
            \centering
            \includegraphics[width=0.45\textwidth]{chap/figures/spaceX_gen2.jpg}
            \caption{波束覆盖范围示意图}
            \label{fig:spaceX}
        \end{figure}
    $\alpha$多波束天线的辐射特性由主瓣和旁瓣组成，
    设主瓣天线方向角为$\alpha$时的增益为$G(\alpha)$，那么主瓣的辐射特性可以写为：
        \begin{equation}
            G(\alpha) = G_m - 3(\alpha/ \alpha_0)^2, 0 \le \alpha \le \alpha_0
            \label{eq:gain_alpha}
        \end{equation}


        \begin{figure}[hbpt]
            \centering
            \includegraphics[width=0.85\textwidth]{chap/figures/pban.png}
            \caption{旁瓣辐射特征}
            \label{fig:pb}
        \end{figure}
        
    天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的同频干扰。ITU给出了各种多波束天线的旁瓣辐射特征模型\supercite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了四部分(\ref{fig:pb})，用公式表示为：

    \begin{equation}
        G(\alpha) = \begin{cases}
            G_m - 3(\frac{\alpha}{\alpha_0})^2 &\alpha_0 \le \alpha \le a \alpha_0 \\
            G_m + L_s & a \alpha_0 \le \alpha \le b \alpha_0 \\
            \max \{G_m + L_s +20-25 \log_{10}(\frac{\alpha}{\alpha_0}), 0 \} & \text{else} 
        \end{cases}
        \label{eq:Gt}
    \end{equation}
    
    其中，$L_s$代表峰值增益时的旁瓣增益。参数$a,b$取值如表\ref{tab:bs}。

    
    \begin{table}[hbpt]
        \centering
        \caption{波束天线相关参数}
        \label{tab:bs}
        \begin{tabularx}{0.75\textwidth}{XXX}
            \toprule
            $L_s(\mathrm{dBi})$ & $a$ & $b$\\
            \midrule
            -20 & 2.58 & 6.32 \\
            -25 & 2.88 & 6.32 \\
            -30 & 3.16 & 6.32 \\
            \bottomrule
        \end{tabularx}
    \end{table}

\subsection{链路损耗}
卫星通信息系统中，系统的通信质量与信道容量等主要由卫星链路的传播特性决定，本部分将介绍星地链路的基本传输特性与损耗特性，为后续建立系统模型进行铺垫。
\subsubsection{路径损耗}

卫星通信与用户终端之间存在多种不同衰减的影响，使用分贝形式可以表达为
\begin{equation}
    L = L_f + L_g + L_r
    \label{eq:Loss}
\end{equation}

其中$L_f$ 代表自由空间传播损耗，$L_g$ 代表大气吸收损耗，$L_r$ 雨衰。
\begin{enumerate}[label=(\arabic*)]
    \item 自由空间传播损耗：电磁波在星地之间进行传播时，信号能量将会随着距离的增加而进行扩散，由此会产生的传播损耗被称为自由空间传播损耗\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。自由空间传播损耗是最基本的传播损失，由于自由空间的传播损失，用户终端接收到的信号功率仅占发射功率极小部分。自由空间的传输损耗与传播距离的平方成正比，与载波波长成反比，由此定义自由空间传播损耗$L_f$为

    \begin{equation}
        L_f = (\frac{4\pi d}{\lambda})^2 = (\frac{4\pi d f}{c})^2
        \label{eq:Lf}
    \end{equation}
    
    其中，$\lambda$为载波波长，$d$传输距离，$f$为频率，$c$为光速。而在链路性能的计算公式中，通常以分贝作为单位，改写为：
    
    \begin{equation}
        L_f = 20\log_{10} d + 20 \log_{10} f + 92.44
        \label{eq:LfdB}
    \end{equation}
    \item 大气吸收损耗：大气吸收损耗取决于载波频率、用户的仰角、海拔高度等，设仰角为$E$，工程上大致计算为
    \begin{equation}
        L_g = \frac{0.042\exp^{0.0691f}}{\sin E}
        \label{eq:Lg}
    \end{equation}
    \item 雨衰：雨衰是电磁波在雨层中传输所引发的衰减，包括雨粒散射的衰减和吸收的衰减，计算方法为
    \begin{equation}
        L_r =   \gamma_r L _E   
        \label{eq:Lr}
    \end{equation}
    $\gamma_r$代表一年内$0.01\%$时间中的降雨概率决定的衰减因子，$L_E$代表有效长度\supercite{series2015propagation}。
\end{enumerate}

\subsubsection{系统噪声}
    
    % 在卫星通信系统中，从卫星发射端对接收端的信号检测解调过程中，都存在这噪声的干扰，根据奈奎斯特公式，噪声的功率为
    电子元件中存在热扰动，由此会产生一定的热噪声，这一噪声被称为奈奎斯特噪声\supercite{johnson1928thermal}，热噪声的功率通常使用公式\ref{eq:noise}表达。
    \begin{equation}
        N = kTB
        \label{eq:noise}
    \end{equation}
    $T$为系统的的噪声温度(单位：\si{\kelvin})，$k$为玻尔兹曼常数（$k=\SI{1.39e-23}{\joule\per\kelvin}$），$B$为链路的传输带宽。

\subsubsection{全链路模型}
卫星通过发射机将天线发送到自由空间中，产生链路损耗信道衰落等，最终经过接收天线接收到有效的信号，接收端接收的信号的功率为
\begin{equation}
    P_r = \frac{P_tG_tG_r}{L}
    \label{eq:P_R}
\end{equation}
$P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益和新账号的发射增益。$L$代表传输的损耗，包括自由空间传播损耗以及其他损耗。

实际系统中，定义天线的发射增益事最大辐射方向单位立体角发射功率和各向同性天线的单位立体角 发射功率之比，等效各向同性辐射功率（Effective Isotropic Radiated Power, EIPR）\supercite{ilvcev2017global}为


\begin{equation}
    EIPR = G_t P_t
    \label{eq:eipr}
\end{equation}
用户终端和接收系统的性能可以使用系统的品质系数表征，记作$\frac{G}{T}$
，其含义是接收终端的增益和电路系统的噪声温度的比值。

% 为了衡量接收系统的性能，定义接收端天线增益与接收端系统噪声温度之比为接收系统的品质因数，记作$\frac{G}{T}$。

载噪比$C/N$是接收到的信号载波的功率与系统的噪声功率比值，反映了信号的质量，接收端载噪比可以写为：
\begin{equation}
    C/N = \frac{P_r}{N} = \frac{P_tG_tG_r}{L_fL_0kTB}
    \label{eq:CNR}
\end{equation}
其中$L_0$表示除自由空间损耗的其他损耗。结合式\ref{eq:LfdB},使用分贝单位表示为

\begin{equation}
    C/N = EIRP + \frac{G}{T} - (L_f + L_0) - B - 228.6
    \label{eq:CNRdB}
\end{equation}

\section{优化问题建模}

在一定时间序列内对卫星资源进行分配可以视为是序列决策问题，是资源管理中常见的优化问题。这一问题通常被建模为马尔可夫决策过程（Markov Decision Process，MDP）\supercite{russell2016artificial}，本节主要对序列决策和MDP进行阐述。
\subsection{序列决策概述}\label{sec:decision}
在控制理论中，序列决策（Sequential Decision Making）通常指在一系列离散的时间步骤里，根据当前系统状态和信息，进行一系列的决策，以达到某种优化目标\supercite{littman1996algorithms}。在优化问题中，序列决策的每一个步骤都会对后续决策和整体的性能产生影响，但在局部看，序列决策的结果并不一定是最优结果。常见的序列决策思想有动态规划（Dynamic Programming，DP）\supercite{bellman1966dynamic}，这种算法在数学、管理学和计算机科学等领域有较多应用，这种方法会将整体问题拆解为具有重复子问题和最优子结构的序列决策问题，通过最小化或最大化某种目标函数的形式得到整体问题的最优解。另一个常见的场景是棋牌类比赛，下棋的每一步都会对整个后续棋局造成影响，单步的下棋策略往往不是最优甚至某些时候是非常糟糕的策略，而整体的收益会在比赛结束时得到体现。
通常，序列决策问题的求解有多种方法。当所有可能的状态已知或者问题具有固定的概率分布时，可以通过编程实现有限状态机的方法进行求解。这样方法要求在软件设计阶段，程序开发人员能够遇见到所有可能的情况。但是在实际的问题中，状态空间和动作空间都具有不确定性，穷举所有状态、设计有限状态机的方法不再现实。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\supercite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）\supercite{russell2016artificial}等方式，能够有效的解决序列决策问题。

\subsection{马尔科夫决策过程}

马尔科夫决策过程是描述决策问题的数学框架，其基于马尔科夫链，可以使用四元组进行描述$<\mathcal{S},\mathcal{A},T,R>$，即状态空间、动作空间、状态转移函数和奖励函数\supercite{puterman1990markov}：
\begin{enumerate}
    \item \textbf{状态空间（State Space）}：状态空间是描述系统状态的集合，通常用$S\mathcal{S}$表示，$s \in \mathcal{S}$表示系统的一个状态。每个状态代表系统在当前时间节点特定的情况或者配置。状态空间可以分为离散状态空间和连续状态空间，离散的状态空间通常用有限的集合表示，表示状态空间的有限性。例如在围棋中，如果将棋盘棋子情况作为状态，每个格点可以有三个状态之一：空、黑棋、白棋，那么状态空间的大小为$3^{361}$。而连续的状态空间代表有无限的状态，例如机器人在二维平面上移动的问题，其状态空间可以视为是二维笛卡尔坐标系，每个点$(x,y)$都可以视为一个状态，其状态的表征具有无限的可能性。
    \item \textbf{动作空间（Action Space）}：动作是运动系统从一个状态到另一个状态的操作，动作的集合成为动作空间，通常用$\mathcal{A}$表示，$a \in \mathcal{A}$表示系统的一个动作。同样地，动作空间也可以分为离散动作空间和连续动作空间。围棋的动作空间可以表示为在棋盘上放置一颗棋子，其可能的动作数量为$361$个，是有限的；可以用机器人的速度$(v_x, v_y)$代表二维空间机器人移动问题的动作，该动作是无限的。状态空间和动作空间的离散性并不是对应的关系，存在状态空间是连续的，动作空间是离散的情况，同样存在状态空间离散但动作空间连续的情况。
    \item  \textbf{状态转移函数（Transition Function）}：状态转移函数是描述系统在某个状态下执行某个动作后，系统转移到下一个状态的概率分布，通常用$T(s,a,s')$表示，$T(s,a,s')$表示在状态$s$执行动作$a$后，系统转移到状态$s'$的概率。状态转移函数满足概率密度函数的一般特性，即
        \begin{align}
            \sum_{s'\in S} T(s, a, s') = 1, \forall s \in \mathcal{S}, a \in \mathcal{A} \\
            \int_{s' \in S} T(s, a, s') = 1, \forall s \in \mathcal{S}, a \in \mathcal{A}
            \label{eq:T_1}
        \end{align}
    同时概率转移函数满足马尔可夫性，即状态的转移只依赖于当前的状态和动作，与历史状态和动作无关，即
    \begin{equation}
        P(s_{t+1}|s_t,a_t,s_{t-1},a_{t-1},\dots) = P(s_{t+1}|s_t,a_t)
        \label{eq:markov}
    \end{equation}
    \item \textbf{奖励函数（Reward Function）}：奖励$R(s,a)$是指在状态$s$时执行动作$a$所能够得到系统反馈值，奖励函数是一个实数函数，可以分为正向奖励和负向奖励，分别代表执行对应的动作系统的鼓励和惩罚，奖励函数的目标是最大化奖励的总和。奖励函数代表了系统对动作与状态间对应关系的反馈。MDP动作与状态之间的关系成为策略（policy），策略分为确定性策略与随机策略，确定型策略表示为：$\pi:\mathcal{S}\rightarrow \mathcal{A}$，代表一个状态到动作的映射关系；随机策略表示为$\pi:\mathcal{S}\times \mathcal{A} \rightarrow [0,1]$，$\pi(s,a)$代表状态$s$下选择动作$a$的概率，满足$\int_{a\in\mathcal{A}} \pi(s,a) = 1$。
\end{enumerate}
\section{深度强化学习技术介绍}\label{sec:rl}
深度强化学习可以有效处理能够建模为MDP的序列决策问题，本节主要介绍强化学习和深度强化学习的基础理论和常见算法。
% \subsection{启发式搜索概述}
\subsection{强化学习}
\subsubsection{概述}
基于马尔可夫决策过程，强化学习通过与环境的不断交互获得最优的动作选择策略$\pi^*$。图\ref{fig:rl}给出了强化学习算法的典型结构框架，问题建模成为马尔可夫过程，在这其中设置一个智能体（Agent），智能体观察环境中的状态信息并且接收奖励信息，然后基于状态选择特定的动作执行，而动作会改变环境更新状态并且得到奖励信息，智能体通过奖励调整策略$\pi$。
\begin{figure}[hbpt]
    \centering
    \includegraphics[width=0.75\textwidth]{chap/figures/rl.png}
    \caption{强化学习的结构框架}
    \label{fig:rl}
\end{figure}

策略的优劣评估取决于奖励的取值，动作的选择考虑奖励因素时不仅要考虑当前的即时奖励，也要考虑未来的奖励值，通过奖励折现因子$gamma$来平衡当前奖励和未来奖励的关系。奖励函数可以写为
\begin{equation}
    R = \sum_{\tau=0}^{\infty} \gamma^{\tau} r_{t+\tau},\forall t
    \label{eq:reward}
\end{equation}
当折现因子取值为0时，强化学习就会只针对当前的即时奖励进行优化，折现因子越大，意味着未来潜在的收益对结果的影响越大。当折现因子取值为1时，所有时刻的奖励对结果的影响是相同的，但在此种情况下，经常会面临无法收敛的问题。多数强化学习算法通过调整$\gamma$取值范围在0到1之间来调整动作选择的策略。策略的最优化标准就是奖励的期望值，即

\begin{equation}
    V^\pi (s) = \mathrm{E}^\pi [R_t|s_t=s]
    \label{eq:V}
\end{equation}
其中$V^\pi (s) $表示的是状态$s$在策略$\pi$下的期望奖励，根据贝尔曼期望方程\supercite{russell2016artificial}，当前状态的值函数使用当前即时奖励与下一状态的值函数进行描述：
\begin{equation}
    \begin{aligned}
        V^\pi(s) &= \mathrm{E}^\pi[r_t + \gamma \sum_{\tau=0}^{\infty }\gamma^\tau r_{t+\tau+1}|s_t = s] \\
        &= \sum_{a\in\mathcal{A}} \pi(a|s) \sum_{s'\in\mathcal{S}} T(s,a,s')[R(s,a) + \gamma V^\pi(s')] 
    \end{aligned}
        \label{eq:rV}
\end{equation}
式\ref{eq:rV}递推地给出了价值评估函数的计算方法，为通过迭代的方法计算价值函数提供了理论基础。强化学习的目标就是得到最优的价值函数所对应的策略。

\begin{equation}
    \pi^* = \arg \max_{\pi} V^\pi(s), \forall s \in \mathcal{S}
    \label{eq:pistar}
\end{equation}
定义动作价值函数，又称为Q函数。
\begin{equation}
    \begin{aligned}
        Q(s, a) &= \mathrm{E}^\pi [\sum_{\tau=0}^{\infty}\gamma^\tau r_{t+\tau}|s_t=s, a_t=a] \\
        &=  \mathrm{E} ^\pi[r_t + \gamma Q(s_{t+1}, \pi (s_{t+1}))|s_t = s, a_t = a]
    \end{aligned}
    \label{eq:Qfunc}
\end{equation}

$Q(s,a)$表示对于$(s,a)$在策略$\pi$下的期望奖励，动作价值函数更多的关注在某个状态下执行不同动作的价值，由此得到最优动作价值函数。
\begin{equation}
    Q^*(s,a) = \max_{\pi} Q(s,a), \forall s \in \mathcal{S}, a \in \mathcal{A}
    \label{eq:Qstar}
\end{equation}

在此基础上，最优动作价值函数的最大值对应的动作就是当前状态下的最优动作，即

\begin{equation}
    a^* = \arg \max_{a} Q^*(s,a), \forall s \in \mathcal{S}
    \label{eq:a_star}
\end{equation}

从而得到
\begin{equation}
    Q^*(s,a)= \sum_{s'}T(s'|s,a)[R(s, a, s') + \gamma \max_{a'}Q^*(s',a')]
    \label{eq:Q_star_iter}
\end{equation}

式\ref{eq:Q_star_iter}表明最优动作价值函数也可以通过迭代的方式得到。
基于价值函数、动作价值函数可以将强化学习分为基于值函数的强化学习、基于策略的强化学习以及基于策略-评论者（Actor-Critic，AC）的强化学习。
\subsubsection{强化学习方法分类}

\textbf{（1）基于值的强化学习方法}

基于值的强化学习方法主要关注于价值函数的计算，通过迭代的方式计算价值函数，然后根据式\ref{eq:a_star}价值函数选择最优的动作。通过不断与环境进行交互获取大量的样本${s,a,r,s'}$，再根据式\ref{eq:Q_star_iter}的方法不断迭代得到最优的Q值。常见的基于值的强化学习方法有值迭代（Value Iteration）、Q学习（Q-Learning）、双重Q学习（Double Q-Learning）等。

\textbf{（2）基于策略的强化学习方法}

基于策略的RL方法相比基于值的方法，其基本思想是直接通过学习优化策略函数。策略梯度算法是这一类算法的代表。使用$\pi(s,a;\theta)$代表一个策略函数，其中$\theta$为策略函数内部参数权重的取值，在深度强化学习中代表深度神经网络的网络参数，策略梯度通过梯度上升法更新$\theta$从而优化策略。具体而言，智能体在图\ref{fig:rl}的框架中不断与环境交互获得周期序列$s_1,a_1,r_1,s_2,a_2,r_2,\cdots,s_t,a_t,r_t$，这样的周期被称为迹（$\lambda$），迹发生的概率可以表示为
\begin{equation}
    \begin{aligned}
        P_{\theta}(\lambda) &= P(s_1)\pi(s_1,a_1;\theta)P(s_2|s_1,a_1)\pi(s_2,a_2;\theta)\cdots P(s_t|s_{t-1},a_{t-1})\pi(s_t,a_t;\theta) \\
        &= P(s_1)\prod_{t=1}^{T}\pi(s_t,a_t;\theta)P(s_{t+1}|s_t,a_t)
    \end{aligned}
    \label{eq:trace}
\end{equation}

在此基础上定义目标函数：
\begin{equation}
    \max_{\theta}J(\theta) = \mathrm{E}_{\lambda \sim P_{\theta}(\lambda)}[R(\lambda)]
    \label{eq:J}
\end{equation}
此函数的目的是最大化迹奖励的期望，即增大高奖励迹出现的概率。每次迭代训练，智能体会基于现有策略与换看交互形成$N$个迹，通过以下公式对$J$取梯度并进行无偏估计：
\begin{equation}
    \begin{aligned}
        \nabla_{\theta}J(\theta)  &= \mathrm{E}_{\lambda \sim P_{\theta}(\lambda)}[\nabla_{\theta}\log P_{\theta}(\lambda)R(\lambda)] \\
         &= \frac{1}{N}\sum_{i=1}^{N}\sum_{t=1}^{T}\nabla_{\theta}\log \pi(s_t^i,a_t^i;\theta)R(\lambda^i)
    \end{aligned}
    \label{eq:J_theta}
\end{equation}
智能体通过以下公式更新策略参数：
\begin{equation}  
\theta \leftarrow \theta + \alpha \nabla_{\theta}J(\theta)
    \label{eq:theta_iter}
\end{equation}
其中$\alpha$为学习率。与基于值的DL方法类似，在迭代到一定次数后，策略会收敛到最优。

\textbf{（3）基于AC的强化学习方法}

基于Actor-Critic（AC，演员-评论家）的强化学习方法是基于值和基于策略的RL方法的结合形式\supercite{konda1999actor}。根据式\ref{eq:a_star}选择最优动作的基于值的RL方法无法实现连续空间的动作。例如Q学习方法通过Q表存储动作价值函数，在面对连续动作时需要离散量化，进行决策时需要遍历所有的动作空间得到最优解，当连续动作的离散化维度高时，算法的复杂度极高、难以收敛。而另一方面，基于策略的强化学习算法每次交互需要获取到的足够长度的迹才能实现更新，收敛速度慢。AC方法通过将策略函数和价值函数结合，通过价值函数评估策略函数的优劣，通过策略函数优化价值函数的评估，实现了连续动作空间的优化。AC方法的基本思想是通过一个演员（Actor）和一个评论家（Critic）来实现。演员负责选择动作，评论家负责评估演员的动作。演员根据评论家的评估调整策略，评论家根据演员的策略评估价值函数。图\ref{fig:ACRL}反映了这种框架的结构，Critic使用基于值的方法评估动作优劣，Actor使用基于策略的方法选择动作。此外，RL分配还包括有模型RL和无模型RL、在线RL和离线RL、同策略RL和异策略RL等，此处不再赘述。

\begin{figure}[hbpt]
    \centering
    \includegraphics[width=0.4\textwidth]{chap/figures/AC.png}
    \caption{基于AC的RL框架}
    \label{fig:ACRL}
\end{figure}




\subsection{深度强化学习}
DRL算法作为机器学习的一种，结合了RL的序列决策能力和DL的数据处理能力。

% 深度学习（Deep Learing，DL）是使用深度神经网络（Deep Neural Network，DNN）作为模型提取特征、对复杂函数进行的非线性拟合的一种方法。DNN包括输入层、隐藏层输出层，每一层包括多个神经元，每个神经元通过激活函数对输入信号进行处理。DNN通过反向传播算法（Back Propagation，BP）不断调整权重，使得模型的输出与真实值之间的误差最小化。DNN的优势在于可以处理大量的数据，提取数据的高阶特征，对复杂的非线性函数进行拟合。DNN的缺点在于需要大量的数据进行训练，容易过拟合，训练时间长，模型的解释性差。
% % vim:ts=4:sw=4

深度学习（DL）是一种通过使用深度神经网络（DNN）来提取特征和进行复杂函数的非线性拟合的技术\supercite{russell2016artificial}。DNN 架构包括输入层、多个隐藏层以及输出层，每层由多个神经元组成，这些神经元利用激活函数处理输入信号。通过反向传播算法（BP），DNN 不断调整神经元间的连接权重，以最小化模型输出与实际值之间的误差。DNN 的主要优势是其能够处理大规模数据集，提取高阶特征，并对复杂的非线性关系进行有效拟合。然而，DNN 也存在一些局限，如需要大量数据支持训练，容易发生过拟合，训练过程耗时，且模型的可解释性较差。图\ref{fig:DNN}描述了深度神经网络的基本结构。在隐藏层中，最基本的是全连接层，其结构就是每层的所有神经元都与下一层全部的神经元相连接。第$i$层的第$j$个神经元的输出为：

\begin{figure}[hbpt]
    \centering
    \includegraphics[width=0.85\textwidth]{chap/figures/DNN.png}
    \caption{深度神经网络结构}
    \label{fig:DNN}
\end{figure}
\begin{equation}
    y_{i,j} = \sigma(\sum_{k=1}^{n_{i-1}}w_{i,j,k}y_{i-1,k} + b_{i,j})
    \label{eq:yhat}
\end{equation}

为了实现非线性拟合，DNN 通常使用激活函数对输入信号进行处理，式\ref{eq:yhat}中的$\sigma$就代表激活函数，$w$代表神经元的连接权重值。常见的激活函数包括 Sigmoid、Tanh、ReLU 等。其中，Sigmoid 函数将输入信号映射到 $(0,1)$ 区间，Tanh 函数将输入信号映射到 $(-1,1)$ 区间，ReLU 函数则将负输入信号映射为 0。
\begin{align}
    \text{Sigmoid}(x) &= \frac{1}{1+e^{-x}} \\
    \text{Tanh}(x) &= \frac{e^x - e^{-x}}{e^x + e^{-x}} \\
    \text{ReLU}(x) &= \max(0,x)
\end{align}

常见的DNN有卷积神经网络（CNN）、循环神经网络（RNN）、对抗神经网络（GAN）等\supercite{russell2016artificial}。本文中所提出的算法主要使用了CNN网络，CNN网络是专门用于处理具有网格矩阵结构的数据，广泛应用于计算机视觉领域。CNN网络主要包含卷积层、池化层、全连接层（图\ref{fig:cnn}）。卷积层的主要作用是对输入数据进行卷积运算用于提出特征（图\ref{fig:conv}），池化层承接卷积层的输出，通过数据降维的方式避免过拟合。
% 卷积层通过卷积核对输入数据进行特征提取，池化层通过降采样的方式减少数据维度，全连接层通过神经元之间的连接实现数据的分类。CNN网络的主要优势在于其能够有效提取数据的空间特征，对图像数据的处理效果显著。
\begin{figure}[hbpt]
    \centering
    \includegraphics[width=0.85\textwidth]{chap/figures/cnn.png}
    \caption{CNN网络结构}
    \label{fig:cnn}
\end{figure}
\begin{figure}[hbpt]
    \centering
    \includegraphics[width=0.85\textwidth]{chap/figures/conv.png}
    \caption{卷积计算}
    \label{fig:conv}
\end{figure}


深度强化学习就是通过DL来表征强化学习中的动作价值函数和策略函数，通过神经网络拟合的方式使得RL算法能够摆脱低维状态空间的限制。2013年，DeepMind公司的研究人员首次基于DNN的方法改进了RL中的Q学习算法，得到深度Q网络学习算法（DQN）\supercite{mnih2013playing}，引发了Deep RL的研究热潮。常见的DRL算法如表\ref{tab:drl}所示。

\begin{table}[hbpt]
    \centering
    \caption{常见的深度强化学习算法}
    \label{tab:drl}
    \begin{tabular}{cc}
        \toprule
        
        算法名称 & 算法目的 \\
        \midrule
        DQN & 解决Q学习中的高维状态空间问题 \\
        DPG\supercite{silver2014deterministic} & 简化策略梯度算法 \\
        DDPG\supercite{lillicrap2015continuous} & DQN与DPG结合 \\
        Nature DQN\supercite{mnih2015human} & 提高DQN的训练速度 \\
        Double DQN \supercite{van2016deep} & 提高DQN的稳定性 \\
        Dueling DQN \supercite{wang2016dueling} & 提高DQN的性能 \\
        A3C\supercite{mnih2016asynchronous} & 强化学习并行化 \\
        PPO\supercite{schulman2017proximal} & 解决策略梯度利用率低 \\
        TD3\supercite{fujimoto2018addressing} & 解决DDPG中的过估计问题 \\
        SAC\supercite{haarnoja2018soft} & 避免陷入局部最优 \\
        \bottomrule
    \end{tabular}
\end{table}

\section{本章小结}

本章首先叙述了多波束卫星基本结构，然后介绍了多波束卫星的空间传输特性。然后介绍了序列决策问题和MDP的基本概念，最后介绍了强化学习和深度强化学习的基本理论和常见算法。本章的内容为后续章节的研究提供了理论基础。