junior.gj/thesis
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

v2.1ack

Browse Source
This commit is contained in:
Junior
2024-05-21 23:00:55 +08:00
parent ef139f315c
commit 94f61bfa61
16 changed files with 155 additions and 103 deletions
Download Patch File Download Diff File Expand all files Collapse all files
chap/chap3.tex
+66 -29
View File
@@ -4,7 +4,7 @@
\chapter{基于深度强化学习的信道分配算法研究}
\section{引言}
为了应对下一代卫星移动通信系统高吞吐量的数据需求，卫星广泛采用了多波束卫星的架构，不同波束分别覆盖地面特定的区域，波束共同组成了单卫星的区域覆盖。由于卫星通信的用户和终端在地理空间和使用时间上分布不均匀，卫星不同波束间的通信数据量存在较大的差异，如果采用固定的频谱分配方式，即使波束内不存在用户使用资源，也会造成资源的浪费。而采用动态资源分配的方式，即所有的信道资源都可以被各个波束的用户所使用\supercite{刘召2019多波束卫星动态信道资源分配算法}，相比固定的频谱分配方式能够拥有较高的资源利用率。关于如何合理地将星上资源在波束之间分配的研究越来越多\supercite{杨宇龙2020多波束卫星通信系统的资源分配算法研究}，这些研究主要是针对带宽或者功率作为优化目标，本章将首先针对现有的单一资源优化分配算法的性能进行研究，根据其不足改进得到基于强化学习的多波束卫星资源的分配算法。
为了应对下一代卫星移动通信系统高吞吐量的数据需求，卫星广泛采用了多波束卫星的架构，不同波束分别覆盖地面特定的区域，波束共同组成了单卫星的区域覆盖。由于卫星通信的用户和终端在地理空间和使用时间上分布不均匀，卫星不同波束间的通信数据量存在较大的差异，如果采用固定的频谱分配方式，即使波束内不存在用户使用资源，也会造成资源的浪费。而采用动态资源分配的方式，即所有的信道资源都可以被各个波束的用户所使用\supercite{刘召2019多波束卫星动态信道资源分配算法}，相比固定的频谱分配方式能够拥有较高的资源利用率。关于如何合理地将星上资源在波束之间分配的研究越来越多\supercite{杨宇龙2020多波束卫星通信系统的资源分配算法研究}，这些研究主要是将带宽或者功率作为优化目标，本章将首先针对现有的单一资源优化分配算法的性能进行研究，根据其不足改进得到基于强化学习的多波束卫星资源的分配算法。
% 但是在多波束卫星系统中，从不同的波束发送的信道在卫星转发器相遇，这样导致使用相同频率资源的信号在中心距离小于同频复用距离时存在同频干扰
% 但多波束卫星系统中，不同波束使用相同信道进行转发时，会产生同频干扰，使用相同频率工作的波束会相互干扰，引起通信速率和通信质量的下降。
@@ -29,7 +29,7 @@
% \end{enumerate}
如图\ref{fig:beam_users}所示，考虑一个给定的卫星场景。其中存在数量为$K$的用户终端分散在各小区中，图中的点、“x”等标记代表不同的地面用户。在$t$时刻，用户通过根据地理位置通过最大化SINR的方式与波束对应并申请接入卫星通话系统。各个波束之间的业务量之间存在一定的差异，因而每个波束的业务需求和信道容量也有所差别，使用$C_i(i=1,2,\dots,N)$表示。
如图\ref{fig:beam_users}所示，考虑一个给定的卫星场景。其中存在数量为$K$的用户终端分散在各小区中，图中的点、“x”等标记代表不同的地面用户。在$t$时刻，用户通过根据地理位置通过最大化信干噪比（Signal to Interference plus Noise Ratio，SINR）的方式与波束对应并申请接入卫星通话系统。各个波束之间的业务量之间存在一定的差异，因而每个波束的业务需求和信道容量也有所差别，使用$C_i(i=1,2,\dots,N)$表示。
同时，用户根据地理位置的不同，会被不同的点波束所服务，波束与用户之间的关系可以使用以下矩阵描述：
$$\mathbf{X}=\{x_{k,n}|x_{k,n}\in\{0,1\}, \sum_{n=1}^{N}x_{k,n}=1,\forall k \} .$$
@@ -42,11 +42,11 @@ $$\mathbf{X}=\{x_{k,n}|x_{k,n}\in\{0,1\}, \sum_{n=1}^{N}x_{k,n}=1,\forall k \}
\label{fig:beam_users}
\end{figure}
\subsection{问题建模}\label{sec:problem}
卫星系统中卫星的总功率和总的带宽可以分别使用$P_{tot}$和$B$表示，而每个波束的最大功率和每个波束的带宽可以表示为$P_b$与$B_b$。由于星上带宽资源具有稀缺性，卫星分配个各个波束的带宽通常小于或等于其业务需求量，即
卫星系统中卫星的总功率和总的带宽可以分别使用$P_{tot}$和$B$表示，而每个波束的最大功率和每个波束的带宽可以表示为$P_b$与$B_b$。由于星上带宽资源具有稀缺性，卫星分配给各个波束的带宽通常小于或等于其业务需求量，即
$$C_i \le T_i^t, \forall t$$
% 多波束卫星通信的一大特点就是可以使用频率复用技术，能够使得卫星在使用相同信道的同时与多个波束服务的小区内的用户进行通信。频率复用技术的优势能够提高频率资源的利用率，提高系统的通信容量。
多波束卫星通信的一个显著特点是它能够利用频率复用技术。这使得卫星可以在同一信道上同时服务多个波束覆盖的小区，与这些小区内的众多用户进行通信。这种频率复用技术大幅提高了频率资源的利用效率和整个系统的通信容量。但是同频复用导致波束的天线旁瓣增益对其他使用同频信道的波束造成一定的干扰，而这种干扰能够会影响系统的容量。假设系统拥有$M$个可以复用的信道，每个可复用信道的带宽为$B_c = \frac{B}{M}$，即每个点波束可以在所有可用的信道集合中分配未使用的信道，每个用户单个时隙只能占有一个信道。假设星上资源中，用户$k$使用信道$m$进行通信的功率为$w_{m,k}$，那么可以用以下矩阵作为信道分配的描述：
多波束卫星通信的一个显著特点是它能够利用频率复用技术。这使得卫星可以在同一信道上同时服务多个波束覆盖的小区，与这些小区内的众多用户进行通信。这种频率复用技术大幅提高了频率资源的利用效率和整个系统的通信容量。但是同频复用导致波束的天线旁瓣增益对其他使用同频信道的波束造成一定的干扰，而这种干扰会影响系统的容量。假设系统拥有$M$个可以复用的信道，每个可复用信道的带宽为$B_c = \frac{B}{M}$，即每个点波束可以在所有可用的信道集合中分配未使用的信道，每个用户单个时隙只能占有一个信道。假设星上资源中，用户$k$使用信道$m$进行通信的功率为$w_{m,k}$，那么可以用以下矩阵作为信道分配的描述：
$$
\mathbf{W} = [\mathbf{w_1, w_2,\dots,w_K}] =
\begin{bmatrix}
@@ -63,7 +63,7 @@ $$
\mathbf{F} = \mathbf{W} \cdot \mathbf{X}
\end{equation}
由于存在波束间的干扰干扰关系，如果定义$h_{i,j}$为用户$j$对用户$i$的干扰关系，可以构建用户之间的增益矩阵为$\mathbf{H}$
由于存在波束间的干扰关系，如果定义$h_{i,j}$为用户$j$对用户$i$的干扰关系，可以构建用户之间的增益矩阵为$\mathbf{H}$
\begin{equation}
\mathbf{H} = \begin{bmatrix}
@@ -125,11 +125,11 @@ $$
\label{eq:SE}
\end{equation}
假设此时系统中每个波束的发射功率为$P_t^b$，此时系统的能量效率为
\begin{equation}
EE_t = \frac{\sum_{\forall u \in \mathcal{U_t}} C_u}{\sum_{b=0}^{N}P_t^b}
\label{eq:EE}
\end{equation}
% 假设此时系统中每个波束的发射功率为$P_t^b$，此时系统的能量效率为
% \begin{equation}
% EE_t = \frac{\sum_{\forall u \in \mathcal{U_t}} C_u}{\sum_{b=0}^{N}P_t^b}
% \label{eq:EE}
% \end{equation}
信道分配的目的是最小化用户通信的阻塞率、最大化系统的频谱效率，需要满足系统的限制。因此可以将信道分配问题建模为以下问题：
@@ -141,7 +141,7 @@ $$
C_i \ge C_t, \forall i \in \mathcal{U_t} \label{eq:Cth}
\end{align}
为了简化问题的复杂度，在本章的卫星通信场景中假设了每个信道采用相同的功率进行发射，即$f_{i,j} \in {P_{Channel}, 0} $，同时本章场景主要是卫星语音通话，因此可以将用户的业务需求视为固定值，每次用户的通信只占用一个信道。式\ref{eq:pt}表示卫星所有波束的发射总功率不超过系统的总的发射功率。式\ref{eq:pbb}表示每个波束的发射功率不超过单波束的最大的发射功率，卫星单个波束的最大发射功率限制和其波束形成的方式有关。式\ref{eq:Cth}表示用户的通信速率不低于最低的通信速率，同时新用户的接入不能影响原有正在使用系统的用户的正常通信条件。由此便将卫星信道的动态分配问题转化为了一个序列决策问题从而能够使用深度强化学习的方法。
为了简化问题的复杂度，在本章的卫星通信场景中假设了每个信道采用相同的功率进行发射，即$f_{i,j} \in \{P_{Channel}, 0\} $，同时本章场景主要是卫星语音通话，因此可以将用户的业务需求视为固定值，每次用户的通信只占用一个信道。式\ref{eq:pt}表示卫星所有波束的发射总功率不超过系统的总的发射功率。式\ref{eq:pbb}表示每个波束的发射功率不超过单波束的最大的发射功率，卫星单个波束的最大发射功率限制和其波束形成的方式有关。式\ref{eq:Cth}表示用户的通信速率不低于最低的通信速率，同时新用户的接入不能影响原有正在使用系统的用户的正常通信条件。由此便将卫星信道的动态分配问题转化为了一个序列决策问题从而能够使用深度强化学习的方法。
\section{基于强化学习的卫星信道分配算法的问题建模}
% vim:ts=4:sw=4
@@ -168,7 +168,7 @@ $$
\end{equation}
\subsubsection{动作空间}
动作是智能体对环境的操作与输出，根据Q网络的特点，动作空间是离散的，每个时刻的动作是选择一个可用的信道，即
$\mathcal{A} = {1, 2, \cdot, M}$。
$\mathcal{A} = \{1, 2, \cdots, M\}$。
Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值函数的原则，动作$a_{t_i}$表示为
\begin{equation}
@@ -201,7 +201,7 @@ Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值
\subsection{状态重构}\label{sec:stateChange}
在完成了马尔可夫过程的抽象后，需在此基础上进行一定的数据预处理和状态重构操作。这主要是因为：
\begin{enumerate}
\item 神经网络的输入往往需要一定的结构化约束，只有将的数据转化为特定的张量形式才能够由神经网络学习发现其中的特征信息，例如在状态空间中，已经服务的用户包含了用户之间的空间位置信息，由于地理信息是空间连续的必须要将其进行离散化处理才能够输入到神经网络中。
\item 神经网络的输入往往需要一定的结构化约束，只有将数据转化为特定的张量形式才能够由神经网络学习发现其中的特征信息，例如在状态空间中，已经服务的用户包含了用户之间的空间位置信息，由于地理信息是空间连续的必须要将其进行离散化处理才能够输入到神经网络中。
\item 对状态信息进行重构，可以减少状态空间的维度。进行预处理后可以有效降低空间复杂度信息，例如在考虑共频干扰时只需要考虑用户周边信道的干扰即可，而实际卫星可能拥有数百甚至数千的波束，不进行状态压缩将会带来巨大的时空复杂度。
\end{enumerate}
@@ -215,7 +215,7 @@ Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值
\caption{某个时刻的业务需求量}
\label{fig:origin}
\end{figure}
通过构造$M+1$张图片，其中前$M$张代表正在进行通信的用户对$M$个信道的占用情况，第$m(m \in {1,2,\cdots,M})$张图片代表了$t_i$时刻已经服务用户集合$\mathcal{U_{t_i}}$ 对$m$信道的占用情况。第$M+1$张代表了新到来用户的情况。每个像素点占用1位的信息，这样就将信息重构为了一个$(M+1) \times L \times H$的图形张量，即拥有$M+1$个颜色通道的黑白图像。图\ref{fig:state_restruct}描述了图\ref{fig:origin}的一种可能的状态压缩情况。在这种状态压缩方案下，状态空间的计算复杂度通过系统$L$和$H$两个维度进行控制，状态可以表示为$s\in{0, 1}^{(M+1)\times L \times H}$。
通过构造$M+1$张图片，其中前$M$张代表正在进行通信的用户对$M$个信道的占用情况，第$m(m \in {1,2,\cdots,M})$张图片代表了$t_i$时刻已经服务用户集合$\mathcal{U_{t_i}}$ 对$m$信道的占用情况。第$M+1$张代表了新到来用户的情况。每个像素点占用1位的信息，这样就将信息重构为了一个$(M+1) \times L \times H$的图形张量，即拥有$M+1$个颜色通道的黑白图像。图\ref{fig:state_restruct}描述了图\ref{fig:origin}的一种可能的状态压缩情况。在这种状态压缩方案下，状态空间的计算复杂度通过系统$L$和$H$两个维度进行控制，状态可以表示为$s\in\{0, 1\}^{(M+1)\times L \times H}$。
\begin{figure}
\centering
\includegraphics[width=0.95\textwidth]{chap/figures/statechange.png}
@@ -226,7 +226,7 @@ Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值
本章聚焦于中低轨卫星的情况，需要考虑卫星的移动性问题，如图\ref{fig:leonet}所示，地面用户不能总在任何时候都与卫星通信，通信的时长收到地轨卫星的覆盖时间限制。图\ref{fig:leonet}所描述的系统多种，卫星正下方的紫色圈层即为卫星的覆盖范围，其覆盖范围会随着卫星的移动而进行移动。使用时间$T$表示地面用户与单颗卫星的最长通信时间，那么可以得到
本章聚焦于中低轨卫星的情况，需要考虑卫星的移动性问题，如图\ref{fig:leonet}所示，地面用户不能总在任何时候都与卫星通信，通信的时长受到低轨卫星的覆盖时间限制。图\ref{fig:leonet}所描述的系统多种，卫星正下方的紫色圈层即为卫星的覆盖范围，其覆盖范围会随着卫星的移动而进行移动。使用时间$T$表示地面用户与单颗卫星的最长通信时间，那么可以得到
\begin{equation}
T = \frac{L}{v_{sat}}
\label{eq:maxt}
@@ -249,7 +249,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
\subsection{Q网络的架构与计算}\label{sec:qwl}
如\ref{sec:rl}介绍，RL只在找到最佳的动作选择策略，这一策略可以基于当前的状态做出最佳的动作决策。Q学习是通过定义Q函数的方法来估计价值函数，聚焦于在状态$s$下找到执行动作$a$的累计奖励，通过迭代的方式求解。由于时序决策序列存在较强的相关性，DQN架构采用了经验回放技术提升网络的收敛性，每次训练过程中都从经验池中提取一定数量的经验数据，通过\ref{eq:Ltheta}计算目标网络与当前网络的误差，通过随机梯度下降（Stochastic Gradient Descent, SGD）的方式来更新网络参数。
如\ref{sec:rl}介绍，RL旨在找到最佳的动作选择策略，这一策略可以基于当前的状态做出最佳的动作决策。Q学习是通过定义Q函数的方法来估计价值函数，聚焦于在状态$s$下找到执行动作$a$的累计奖励，通过迭代的方式求解。由于时序决策序列存在较强的相关性，DQN架构采用了经验回放技术提升网络的收敛性，每次训练过程中都从经验池中提取一定数量的经验数据，通过\ref{eq:Ltheta}计算目标网络与当前网络的误差，通过随机梯度下降（Stochastic Gradient Descent, SGD）的方式来更新网络参数。
\begin{equation}
L(\theta) = \mathrm{E} [(r_{t} + \gamma \max_{a'} Q'(s_{t+1}, a'; \theta ') - Q(s_t, a_t; \theta))^2]
\label{eq:Ltheta}
@@ -261,7 +261,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
\end{equation}
由式\ref{eq:Q_t_1}可以得到，SGD的本质就是最小化误差函数，即$\min L(\theta)$
本章算法使用了卷积神经网络（convolutional neural network， CNN）作为Q网络的架构，具体而言主要包含了四层的网络结构。第一层是卷积层，包含16个$5\times 5$卷积核，依据\ref{sec:stateChange}中状态重构的描述，其输入为$M+1$张$L\times H$张量。第二层是32个$3\times 3$个卷积核。经过重新排列与重构输入到第三层和第四层的全连接层中，最后输出为$M$个Q值。其具体参数如表\ref{tab:Q}所示，其中$L = H = 10$。
本章算法使用了卷积神经网络（Convolutional Neural Network， CNN）作为Q网络的架构，具体而言主要包含了四层的网络结构。第一层是卷积层，包含16个$5\times 5$卷积核，依据\ref{sec:stateChange}中状态重构的描述，其输入为$M+1$张$L\times H$张量。第二层是32个$3\times 3$个卷积核。经过重新排列与重构输入到第三层和第四层的全连接层中，最后输出为$M$个Q值。其具体参数如表\ref{tab:Q}所示，其中$L = H = 10$。
\begin{table}[hbpt]
\centering
@@ -284,7 +284,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
算法一共分为以下几个主要过程：
\begin{enumerate}
\item 参数初始化，初始化仿真场景和算法的参数。
\item 训练更新：将经验$\phi = {s, a, r, s}$存储到经验池。当经验池数据量达到训练门限时，随机选取一组数据批量训练，通过随机梯度下降的方式更新Q网络的参数，更新Q'网络的参数。
\item 训练更新：将经验$\phi = \{s, a, r, s\}$存储到经验池。当经验池数据量达到训练门限时，随机选取一组数据批量训练，通过随机梯度下降的方式更新Q网络的参数，更新Q'网络的参数。
\end{enumerate}
具体的步骤如下：
\begin{breakablealgorithm}
@@ -334,10 +334,10 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
\end{algorithmic}
\end{breakablealgorithm}
在算法的流程中使用到了$\epsilon - greedy$策略，即使用$\epsilon \in [0,1]$的概率随机地进行动作选择，否则选择具有最大Q值的动作。这种方法的主要目的是在探索（exploration）和利用（exploitation）之间达到平衡，利用的含义是在当前的信息下选择已知的最优动作在当前例子中就是最大化Q值所对应的动作，这样主要的目的是利用历史知识进行学习，而探索则是随机选择一个动作，抛弃所有的已获得的信息。这种策略有助于寻找到全局最优解，避免过早地陷入到对局部最优解中。在本算法中使用衰减率$\lambda$来控制探索概率的衰减速度，$\epsilon_f$是探索概率的最小值。
在算法的流程中使用到了$\epsilon - greedy$策略，即使用$\epsilon \in [0,1]$的概率随机地进行动作选择，否则选择具有最大Q值的动作。这种方法的主要目的是在探索（exploration）和利用（exploitation）之间达到平衡，利用的含义是在当前的信息下选择已知的最优动作在当前例子中就是最大化Q值所对应的动作，这样主要的目的是利用历史知识进行学习，而探索则是随机选择一个动作，抛弃所有的已获得的信息。这种策略有助于寻找到全局最优解，避免过早地陷入到局部最优解中。在本算法中使用衰减率$\lambda$来控制探索概率的衰减速度，$\epsilon_f$是探索概率的最小值。
\section{仿真结果分析}
本节首先搭建了评估本章算法的仿真环境，给出了DRL算法所使用的参数。为了验证算法的有效性和性能，选取了多个不同的参数但作为仿真的场景并与固定信道分配等算法进行了对比，结果表明本章的算法能够实现较高的频谱效率和较低的阻塞率。
本节首先搭建了评估本章算法的仿真环境，给出了DRL算法所使用的参数。为了验证算法的有效性和性能，选取了多个不同的参数作为仿真的场景并与固定信道分配等算法进行了对比，结果表明本章的算法能够实现较高的频谱效率和较低的阻塞率。
\subsection{实验参数设计}
仿真中使用的是低轨的单颗L波段卫星系统，主要的参数如表\ref{tab:para}所示，主要参考文献\parencite{zhao2020deep}。其中，业务申请服从参数为$\lambda$的泊松分布，业务的持续时间服从参数为$\mu$的负指数分布，参考\parencite{刘帅军2018卫星通信系统中动态资源管理技术研究}。系统中初始存在的用户数为400，分散在各个波束内。业务速率的最低为\SI{500}{kbps}。
@@ -397,7 +397,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
\subsection{算法性能分析}
\subsubsection{算法复杂度分析}
本文中使用的DRL算法通过状态重构、卷积降采样等方式降低了数据维度和计算的复杂度，从而在大大缩减了计算开销和计算时间。本算法使用了卷积神经网络描述，其中卷积层的复杂度为：
本文中使用的DRL算法通过状态重构、卷积降采样等方式降低了数据维度和计算的复杂度，从而大大缩减了计算开销和计算时间。本算法使用了卷积神经网络描述，其中卷积层的复杂度为：
\begin{equation}
\mathcal{O}(\sum_{i=1}^{N_{conv}} M_i^2\cdot K_i^2 \cdot C_{in} \cdot C_{out})
\label{eq:CNN}
@@ -447,37 +447,74 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
\begin{figure}[hbpt]
\centering
\includegraphics[width=0.75\textwidth]{chap/figures/mu_6.png}
\caption{业务持续时间一定的情况下通信的阻塞率随着到达率的变化情况}
\begin{subfigure}{0.45\textwidth}
\includegraphics[width=\textwidth]{chap/figures/mu_6.png}
\caption{阻塞率随$\lambda$变化情况}
\label{fig:subfigurelamb}
\end{subfigure}
\begin{subfigure}{0.45\textwidth}
\includegraphics[width=\textwidth]{chap/figures/mu_3_se.png}
\caption{频谱效率随$\lambda$变化情况}
\label{fig:subfigurelambse}
\end{subfigure}
\caption{业务持续时间一定的情况下算法性能随着到达率的变化情况}
\label{fig:mu_6blk}
\end{figure}
如图\ref{fig:mu_6blk}所示，阻塞率会随着业务到达率的增大而增大，可用的信道数是固定的，随着到达率的增加，会有越来越多的用户因为信道被完全占用无法得到服务。本章方法在业务的持续时间固定时，在大多数的业务到达率情况下在阻塞率方面优于其他两种算法。例如在$\lambda = 60$时，本文算法的阻塞率要比固定信道分配方式低约0.3，比动态分配方式低约0.03。
在所有的到达率中，固定信道的分配方式的系统阻塞率都要高于其他两种方法。这是因为本次比较的信道分配算法使用的是四色复用的方式，每个波束能够使用的信道数量较其他两种方法小，动态新的分配方式可以通过灵活的配置满足新到达的业务从而能够降低整体的阻塞率。固定分配方式的与动态方法之间的差距随着到达率的增大先逐渐增大再减小，到达率较低时，所有算法的都能有效的分配信道，而随着到达率的增大，固定分配方式和动态分配方式先后到达阈值。本章的DRL算法在阻塞率方面都要优于贪心算法。这主要是因为贪心算法只考虑当前状态下系统的收益容易陷入到局部最优解，而通过DRL方法考虑了时域的关联性和累计的效率，能够更好地优化系统的性能。由于系统的带宽是固定的，阻塞率一定时能够服务用户数量可以一定程度上反映的系统的频谱效率与承载量，DRL算法能够在阻塞率在0.1时比固定分配算法提高2倍以上，相比贪心算法提升约4\%。这都表明DRL算法相比其他算法具有较高的频谱效率。
在所有的到达率中，固定信道的分配方式的系统阻塞率都要高于其他两种方法。这是因为本次比较的信道分配算法使用的是四色复用的方式，每个波束能够使用的信道数量较其他两种方法小，动态新的分配方式可以通过灵活的配置满足新到达的业务从而能够降低整体的阻塞率。固定分配方式与动态方法之间的差距随着到达率的增大先逐渐增大再减小，到达率较低时，所有算法都能有效分配信道，而随着到达率的增大，固定分配方式和动态分配方式先后到达阈值。本章的DRL算法在阻塞率方面都要优于贪心算法。这主要是因为贪心算法只考虑当前状态下系统的收益容易陷入到局部最优解，而通过DRL方法考虑了时域的关联性和累计的效率，能够更好地优化系统的性能。
从频谱效率上看，固定信道分配频谱效率相比其他动态方法更低，在较低到达率时，贪心与本章算法的频谱效率相近，在业务到达率较高时，本章算法明显领先贪心算法。
% 由于系统的带宽是固定的，阻塞率一定时能够服务用户数量可以一定程度上反映的系统的频谱效率与承载量，DRL算法能够在阻塞率在0.1时比固定分配算法提高2倍以上，相比贪心算法提升约4\%。这都表明DRL算法相比其他算法具有较高的频谱效率。
\textbf{（2） 业务的到达率固定的情况}
本接将分别在低业务量和高业务量情况下分别讨论业务持续时间对业务阻塞情况的变化。
本节将分别在低业务量和高业务量情况下分别讨论业务持续时间对业务阻塞情况和频谱效率的变化。
\begin{figure}[hbpt]
\centering
\includegraphics[width=0.7\textwidth]{chap/figures/mu_10.png}
\begin{subfigure}{0.45\textwidth}
\includegraphics[width=\textwidth]{chap/figures/mu_10.png}
\caption{阻塞率随$\mu$变化情况}
\label{fig:subfigurelowmu}
\end{subfigure}
\begin{subfigure}{0.45\textwidth}
\includegraphics[width=\textwidth]{chap/figures/mu_10_se.png}
\caption{频谱效率随$\mu$变化情况}
\label{fig:subfigurelowmuse}
\end{subfigure}
% \includegraphics[width=0.7\textwidth]{chap/figures/mu_10.png}
\caption{低业务量场景下系统的表现情况}
\label{fig:lamb10}
\end{figure}
如图\ref{fig:lamb10}所示，展示了低业务量场景（$\lambda = 20$）下各个算法的表现。同样地，随着业务持续时间的增加，各个算法的阻塞率都呈现出增加的趋势。从图中可以看出，当业务量较低时，两种动态资源分配算法都能够有效的降低系统的阻塞率，而固定分配方式的阻塞率要高于其他两种方法。在低业务量的场景下，DRL算法能够在业务平均持续时间更长的情况下保持较低的业务阻塞率和较高的业务呼通率，这表明在低频的业务量场景下，DRL算法能够有效的保障整个通信系统的性能。
如图\ref{fig:lamb10}所示，展示了低业务量场景（$\lambda = 20$）下各个算法的表现。同样地，随着业务持续时间的增加，各个算法的阻塞率都呈现出增加的趋势。从图中可以看出，当业务量较低时，两种动态资源分配算法都能够有效降低系统的阻塞率，而固定分配方式的阻塞率要高于其他两种方法。在低业务量的场景下，DRL算法能够在业务平均持续时间更长的情况下保持较低的业务阻塞率和较高的业务呼通率，这表明在低频的业务量场景下，DRL算法能够有效保障整个通信系统的性能。
\begin{figure}[hbpt]
\centering
\begin{subfigure}{0.45\textwidth}
\includegraphics[width=\textwidth]{chap/figures/lamb_90.png}
\caption{阻塞率随$\mu$变化情况}
\label{fig:subfigurelowmu}
\end{subfigure}
\begin{subfigure}{0.45\textwidth}
\includegraphics[width=\textwidth]{chap/figures/lamb_90_se.png}
\caption{频谱效率随$\mu$变化情况}
\label{fig:subfigurelowmuse}
\end{subfigure}
\includegraphics[width=0.7\textwidth]{chap/figures/lamb_90.png}
\caption{高业务量场景下系统的表现情况}
\label{fig:lamb90}
\end{figure}
而图\ref{fig:lamb90}反映出了高业务量场景下的情况。这张图反映出，在任何情况下固定信道分配的情况下都不如动态信道分配算法。在业务量较大的情况下，如果业务的持续时间较短，DRL算法相比贪心算法具有明显的优势，而随着业务平均持续时间的提高，由于系统的信道资源逐渐趋于饱和，两种动态信道分配方式的性能也逐渐趋同。
而图\ref{fig:lamb90}反映出了高业务量场景下的情况。这张图反映出，在任何情况下固定信道分配的情况下都不如动态信道分配算法。在业务量较大的情况下，如果业务的持续时间较短，DRL算法相比贪心算法具有明显的优势，而随着业务平均持续时间的提高，由于系统的信道资源逐渐趋于饱和，两种动态信道分配方式的性能也逐渐趋同。本章算法的频谱效率显著高于贪心算法。
\section{本章小结}
% 本章基于深度强化学习领域的研究，提出了基于DQN的在低轨卫星通信下行链路中的多波束资源分配算法。本章首先详细分析了该场景下的序列决策问题，进而在分析问题的基础上提出了基于DQN的资源分配算法。本章首先对问题进行了数学建模，然后对状态空间进行了重构，接着详细介绍了DQN算法的原理和实现细节。最后通过仿真实验验证了本章提出的算法的有效性和性能。实验结果表明，本章提出的算法在低轨卫星通信场景下能够有效的降低系统的阻塞率，提高系统的频谱效率。
本研究针对低轨卫星通信下行链路中的多波束资源分配问题，引入了深度强化学习中的DQN实现了动态信道分配算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本文设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法能有效减少系统阻塞率。
本研究针对低轨卫星通信下行链路中的多波束资源分配问题，引入了深度强化学习中的DQN实现了动态信道分配算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本文设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法能有效减少系统阻塞率，提高频谱效率。