junior.gj/thesis
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

v2.0ack

Browse Source
This commit is contained in:
Junior
2024-05-20 23:20:53 +08:00
parent c7b9bdf729
commit ef139f315c
9 changed files with 362 additions and 103 deletions
Download Patch File Download Diff File Expand all files Collapse all files
chap/chap3.tex
+28 -29
View File
@@ -4,7 +4,7 @@
\chapter{基于深度强化学习的信道分配算法研究}
\section{引言}
为了应对下一代卫星移动通信系统高吞吐量的数据需求，卫星广泛采用了多波束卫星的架构，每个卫星携带多个波束，分别覆盖地面特定的区域，波束共同组成了单卫星的区域覆盖。由于卫星通信的用户和终端在地理空间和使用时间上分布不均匀，卫星不同波束间的通信数据量存在较大的差异，如果采用固定的频谱分配方式，即使波束内不存在用户使用资源，也会造成资源的浪费。而采用动态资源分配的方式，即所有的信道资源都可以被各个波束的用户所使用\supercite{刘召2019多波束卫星动态信道资源分配算法}，相比固定的频谱分配方式能够拥有较高的资源利用率。关于研究如何合理地将星上资源在波束之间分配的研究越来越多，这些研究主要是针对带宽或者功率作为优化目标，本章将首先针对现有的单一资源优化分配算法的性能进行研究，根据其不足提出基于强化学习的多波束卫星资源的分配算法。
为了应对下一代卫星移动通信系统高吞吐量的数据需求，卫星广泛采用了多波束卫星的架构，不同波束分别覆盖地面特定的区域，波束共同组成了单卫星的区域覆盖。由于卫星通信的用户和终端在地理空间和使用时间上分布不均匀，卫星不同波束间的通信数据量存在较大的差异，如果采用固定的频谱分配方式，即使波束内不存在用户使用资源，也会造成资源的浪费。而采用动态资源分配的方式，即所有的信道资源都可以被各个波束的用户所使用\supercite{刘召2019多波束卫星动态信道资源分配算法}，相比固定的频谱分配方式能够拥有较高的资源利用率。关于如何合理地将星上资源在波束之间分配的研究越来越多\supercite{杨宇龙2020多波束卫星通信系统的资源分配算法研究}，这些研究主要是针对带宽或者功率作为优化目标，本章将首先针对现有的单一资源优化分配算法的性能进行研究，根据其不足改进得到基于强化学习的多波束卫星资源的分配算法。
% 但是在多波束卫星系统中，从不同的波束发送的信道在卫星转发器相遇，这样导致使用相同频率资源的信号在中心距离小于同频复用距离时存在同频干扰
% 但多波束卫星系统中，不同波束使用相同信道进行转发时，会产生同频干扰，使用相同频率工作的波束会相互干扰，引起通信速率和通信质量的下降。
@@ -18,7 +18,7 @@
\label{fig:multi-satellite}
\end{figure}
多波束卫星系统由多波束卫星和不同波束下的地面用户终端组成。多波束卫星拥有$M$个波束，服务于$M$个小区。
多波束卫星系统由多波束卫星和地面用户组成。本章场景中，多波束卫星拥有$N$个波束，服务于$N$个小区。
% 图\ref{fig:multi-satellite}描述了常见的多波束卫星的整体系统结构，多波束卫星主要包括的以下几部分：
% \begin{enumerate}
% \item 地面中心站：主要包含前向链路网关处理部分
@@ -31,9 +31,9 @@
如图\ref{fig:beam_users}所示，考虑一个给定的卫星场景。其中存在数量为$K$的用户终端分散在各小区中，图中的点、“x”等标记代表不同的地面用户。在$t$时刻，用户通过根据地理位置通过最大化SINR的方式与波束对应并申请接入卫星通话系统。各个波束之间的业务量之间存在一定的差异，因而每个波束的业务需求和信道容量也有所差别，使用$C_i(i=1,2,\dots,N)$表示。
同时，用户根据地理位置的不同，会被不同的点波束所服务，波束与用户之间的关系可以使用以下矩阵描述：
$$\mathbf{X} = \{x_{k,n}|x_{k,n}\in\{0,1\}, \sum_{n=1}^{N}x_{k,n}=1,\forall k,n \} .$$
$$\mathbf{X}=\{x_{k,n}|x_{k,n}\in\{0,1\}, \sum_{n=1}^{N}x_{k,n}=1,\forall k \} .$$
考虑LEO卫星系统中，由于卫星轨道相对较低，卫星移动速度较快，例如卫星在\SI{780}{km}的轨道高度时运行速度为\SI{7.46}{km\per s}，因此这种场景下可以忽略地面用户的移动性，只需要考虑卫星的移动性。卫星相对于地面区域向特定方向的运动可以视为，用户朝着相反方向进行移动。
考虑LEO卫星系统中，由于卫星轨道相对较低，卫星移动速度较快，例如卫星在\SI{780}{km}的轨道高度时运行速度为\SI{7.46}{km\per s}，因此这种场景下可以忽略地面用户的移动性，只需要考虑卫星的移动性。卫星相对于地面区域向特定方向的运动可以视为用户朝着相反方向进行移动。
\begin{figure}[hbpt]
\centering
@@ -46,7 +46,7 @@ $$\mathbf{X} = \{x_{k,n}|x_{k,n}\in\{0,1\}, \sum_{n=1}^{N}x_{k,n}=1,\forall k
$$C_i \le T_i^t, \forall t$$
% 多波束卫星通信的一大特点就是可以使用频率复用技术，能够使得卫星在使用相同信道的同时与多个波束服务的小区内的用户进行通信。频率复用技术的优势能够提高频率资源的利用率，提高系统的通信容量。
多波束卫星通信的一个显著特点是它能够利用频率复用技术。这使得卫星可以在同一信道上同时服务多个波束覆盖的小区，与这些小区内的众多用户进行通信。这种频率复用技术大幅提高了频率资源的利用效率和整个系统的通信容量。但是同频复用导致波束的天线旁瓣增益对其他使用同频信道的波束造成一定的干扰，而这种干扰能够会影响系统的容量。假设系统拥有$M$个可以复用的信道，每个可复用信道的带宽为$B_c = \frac{B}{M}$，即每个点波束可以在所有可用的信道集合中分配未使用的信道，每个用户单个时隙只能占有一个信道。假设星上资源中，每个信道$m$给用户分配的功率为$w_{m,k}$，那么可以用以下矩阵作为信道分配的描述：
多波束卫星通信的一个显著特点是它能够利用频率复用技术。这使得卫星可以在同一信道上同时服务多个波束覆盖的小区，与这些小区内的众多用户进行通信。这种频率复用技术大幅提高了频率资源的利用效率和整个系统的通信容量。但是同频复用导致波束的天线旁瓣增益对其他使用同频信道的波束造成一定的干扰，而这种干扰能够会影响系统的容量。假设系统拥有$M$个可以复用的信道，每个可复用信道的带宽为$B_c = \frac{B}{M}$，即每个点波束可以在所有可用的信道集合中分配未使用的信道，每个用户单个时隙只能占有一个信道。假设星上资源中，用户$k$使用信道$m$进行通信的功率为$w_{m,k}$，那么可以用以下矩阵作为信道分配的描述：
$$
\mathbf{W} = [\mathbf{w_1, w_2,\dots,w_K}] =
\begin{bmatrix}
@@ -86,29 +86,31 @@ $$
\end{equation}
那么用户接收到的信号功率可以表示为
\begin{equation}
P_k = h_{k,k} \cdot w_{m,k}, \forall m,k, x_{m,k} = 1
P_k = h_{k,k} \cdot w_{m,k}
% , \forall m,k, x_{m,k} = 1
\end{equation}
干扰可以表示为：
\begin{equation}
P_{cci} = \sum_{i\ne k} h_{k,i} \cdot w_{m,i}, \forall m,i, x_{m,i} = 1
P_{cci,k} = \sum_{i\ne k} h_{k,i} \cdot w_{m,i}
% , \forall m,i, x_{m,i} = 1
\end{equation}
那么能够方便的得到用户的信干噪比公式（SINR）为
\begin{equation}
SINR_i = \frac{P_k}{B_c N_0 +\sum_{i\ne k} h_{k,i} \cdot w_{m,i} }
SINR_k = \frac{P_k}{B_c N_0 +\sum_{i\ne k} h_{k,i} \cdot w_{m,i} }
\label{eq:SINR}
\end{equation}
根据香农公式，用户$k$的信道容量可以表示为：
\begin{align}
C_i = B_c \log_2{(1+\frac{P_k}{B_c N_0 +\sum_{i\ne k} h_{k,i} \cdot w_{m,i} })}
C_k = B_c \log_2{(1+\frac{P_k}{B_c N_0 +\sum_{i\ne k} h_{k,i} \cdot w_{m,i} })}
\label{eq:ci}
\end{align}
公式\ref{eq:ci}给出了用户在所建模的低轨卫星通信系统上在系统资源分配策略下可以达到的速率。为了保障用户的服务质量，该速度需要满足达到特定的最低值，否则通信或者数据传输服务就会因为服务质量过程被阻塞或者失去响应，将速度最低值记为$C_t$。
在以上的基础上，卫星的资源分配问题可以描述为在给定的资源约束下，在业务到达时为其分配合理的信道，最大化系统的频谱效率，这一问题属于序列决策问题，这一问题在\ref{sec:decision}中已经有了比较细致的阐释。具体到该问题就是需要对离散时域上的业务到达请求进行信道的合理分配。本文场景中系统的频谱效率与同时接入服务的用户数量等价，最优化系统的频谱效率就是最小化系统的阻塞率。对决策起到主要影响的就是由于用户地理位置和频率复用产生的共频干扰。当$t$时刻，用户$u_i$申请接入卫星通信系统，由$\mathbf{X}$矩阵可知，需要在波束$b'=\arg \max \mathbf{x_i}$中寻找合适的信道$c$，为用户提供服务，如果存在能够满足限制条件的信道，那么用户就能得到服务，否则用户就会被阻塞。是否阻塞反应了用户的QoS质量，定义阻塞函数：
在以上的基础上，卫星的资源分配问题可以描述为在给定的资源约束下，在业务到达时为其分配合理的信道，最大化服务的用户数量，这一问题属于序列决策问题，这一问题在\ref{sec:decision}中已经有了比较细致的阐释。具体到该问题就是需要对离散时域上的业务到达请求进行信道的合理分配。本文场景中系统的频谱效率与同时接入服务的用户数量等价，最优化系统的频谱效率就是最小化系统的阻塞率。对决策起到主要影响的就是由于用户地理位置和频率复用产生的同频干扰。当$t$时刻，用户$u_i$申请接入卫星通信系统，由$\mathbf{X}$矩阵可知，需要在波束$b'=\arg \max \mathbf{x_i}$中寻找合适的信道$c$，为用户提供服务，如果存在能够满足限制条件的信道，那么用户就能得到服务，否则用户就会被阻塞。是否阻塞反应了用户的QoS质量，定义阻塞函数：
\begin{equation}
\Psi^t = \begin{cases}
1, & \text{用户被阻塞} \\
@@ -139,11 +141,11 @@ $$
C_i \ge C_t, \forall i \in \mathcal{U_t} \label{eq:Cth}
\end{align}
为了简化问题的复杂度，在本章的卫星通信场景中假设了每个信道采用相同的功率进行发射，即$f_{i,j} \in {P_{Channel}, 0} $，同时本章场景主要是卫星语音通话经常，因此可以将用户的业务需求量视为固定值，每次用户的通信只占用一个信道。式\ref{eq:pt}表示信道的分配满足发射的总功率不超过系统的总的发射功率。式\ref{eq:pbb}表示每个波束的发射功率不超过波束的最大的发射功率，卫星单个波束的最大发射功率限制和其波束形成的方式有关。式\ref{eq:Cth}表示用户的通信速率不低于最低的通信速率，同时新用户的接入不能影响原有正在使用系统的用户的正常通信条件。由此便将卫星信道的动态分配问题转化为了一个序列决策问题从而能够使用深度强化学习的方法。
为了简化问题的复杂度，在本章的卫星通信场景中假设了每个信道采用相同的功率进行发射，即$f_{i,j} \in {P_{Channel}, 0} $，同时本章场景主要是卫星语音通话，因此可以将用户的业务需求视为固定值，每次用户的通信只占用一个信道。式\ref{eq:pt}表示卫星所有波束的发射总功率不超过系统的总的发射功率。式\ref{eq:pbb}表示每个波束的发射功率不超过单波束的最大的发射功率，卫星单个波束的最大发射功率限制和其波束形成的方式有关。式\ref{eq:Cth}表示用户的通信速率不低于最低的通信速率，同时新用户的接入不能影响原有正在使用系统的用户的正常通信条件。由此便将卫星信道的动态分配问题转化为了一个序列决策问题从而能够使用深度强化学习的方法。
\section{基于强化学习的卫星信道分配算法的问题建模}
% vim:ts=4:sw=4
本节主要探讨的是如何将\ref{sec:problem}提出的序列决策问题转化为\ref{sec:decision}中描述的马尔可夫决策过程的形式，即给出状态、动作等问题的抽象，同时给出了本章提出的基于强化学习的卫星信道分配算法的整体框架、阐释所给出的算法的设计思想和主要过程并给出了算法的具体实现过程和部分细节。
本节主要探讨的是如何将\ref{sec:problem}提出的序列决策问题转化为\ref{sec:decision}中描述的马尔可夫决策过程的形式，即给出状态、动作等问题的抽象，同时给出了本章基于强化学习的卫星信道分配算法的整体框架、阐释所给出的算法的设计思想和主要过程并给出了算法的具体实现过程和部分细节。
\subsection{总体框架}
@@ -176,7 +178,7 @@ Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值
\subsubsection{奖励设计}
根据优化问题的设计，将优化目标增量$\Delta F$作为收益率的一句，任务目标由优化问题中的目标决定，本问题中的优化目标是最小化阻塞率和最大化频谱效率，因此优化目标可以公式表示为：
根据优化问题的设计，将优化目标增量$\Delta F$作为收益率的依据，任务目标由优化问题中的目标决定，本问题中的优化目标是最小化阻塞率和最大化频谱效率，因此优化目标可以公式表示为：
\begin{equation}
F_{i} = \alpha_1 SE_{t_i} - \alpha_2 \frac{\sum_{0}^{t_i} \Psi^{\tau}}{N_{arrival}}
\label{eq:target}
@@ -213,7 +215,7 @@ Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值
\caption{某个时刻的业务需求量}
\label{fig:origin}
\end{figure}
通过构造$M+1$张图片，其中前$M$张代表正在进行通信的用户对$M$个信道的占用情况，第$m(m \in {1,2,\cdots,M})$张图片代表了$t_i$时刻已经服务用户集合$\mathcal{U_{t_i}}$ 对滴$m$信道的占用情况。第$M+1$张代表了新到来用户的情况。每个像素点占用1位的信息，这样就将信息重构为了一个$(M+1) \times L \times H$的图形张量，即拥有$M+1$个颜色通道的黑白图像。图\ref{fig:state_restruct}描述了图\ref{fig:origin}的一种可能的状态压缩情况。在这种状态压缩方案下，状态空间的计算复杂度通过系统$L$和$H$两个维度进行控制，状态可以表示为$s\in{0, 1}^{(M+1)\times L \times H}$。
通过构造$M+1$张图片，其中前$M$张代表正在进行通信的用户对$M$个信道的占用情况，第$m(m \in {1,2,\cdots,M})$张图片代表了$t_i$时刻已经服务用户集合$\mathcal{U_{t_i}}$ 对$m$信道的占用情况。第$M+1$张代表了新到来用户的情况。每个像素点占用1位的信息，这样就将信息重构为了一个$(M+1) \times L \times H$的图形张量，即拥有$M+1$个颜色通道的黑白图像。图\ref{fig:state_restruct}描述了图\ref{fig:origin}的一种可能的状态压缩情况。在这种状态压缩方案下，状态空间的计算复杂度通过系统$L$和$H$两个维度进行控制，状态可以表示为$s\in{0, 1}^{(M+1)\times L \times H}$。
\begin{figure}
\centering
\includegraphics[width=0.95\textwidth]{chap/figures/statechange.png}
@@ -224,16 +226,13 @@ Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值
由于本章聚焦于中低轨卫星的情况，需要考虑卫星的移动性问题，如图\ref{fig:leonet}所示，地面用户不能总在任何时候都与卫星通信，通信的时长收到地轨卫星的覆盖时间限制。图\ref{fig:leonet}所描述的系统多种，卫星正下方的紫色圈层即为卫星的覆盖范围，其覆盖范围会随着卫星的移动而进行移动。使用时间$T$表示地面用户与单颗卫星的最长通信时间，那么可以得到
本章聚焦于中低轨卫星的情况，需要考虑卫星的移动性问题，如图\ref{fig:leonet}所示，地面用户不能总在任何时候都与卫星通信，通信的时长收到地轨卫星的覆盖时间限制。图\ref{fig:leonet}所描述的系统多种，卫星正下方的紫色圈层即为卫星的覆盖范围，其覆盖范围会随着卫星的移动而进行移动。使用时间$T$表示地面用户与单颗卫星的最长通信时间，那么可以得到
\begin{equation}
T = \frac{L}{v_{sat}}
\label{eq:maxt}
\end{equation}
$v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是单科卫星的覆盖范围信息。而通过以上的状态重构后，卫星的移动便转化为图片各个像素点朝着某个方向平移的问题。图\ref{fig:move}展示了这种情况下的变化。
$v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是单颗卫星的覆盖范围信息。而通过以上的状态重构后，卫星的移动便转化为图片各个像素点朝着某个方向平移的问题。图\ref{fig:move}展示了这种情况下的变化。
\begin{figure}[hbpt]
\centering
@@ -250,7 +249,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
\subsection{Q网络的架构与计算}\label{sec:qwl}
如\ref{sec:rl}介绍，RL只在找到最佳的动作选择策略，这一策略可以基于当前的状态做出最佳的动作决策。Q学习是通过定义Q函数的方法来估计价值函数，聚焦于在状态$s$下找到执行动作$a$的累计奖励，通过迭代的方式求解。由于时序决策序列存在较强的相关性，采用了经验回放技术和目标网络的方式来提升网络的收敛性，每次训练过程中都从经验池中提取一定数量的经验数据，通过\ref{eq:Ltheta}计算目标网络与当前网络的误差，通过随机梯度下降（Stochastic Gradient Descent, SGD）的方式来更新网络参数。
如\ref{sec:rl}介绍，RL只在找到最佳的动作选择策略，这一策略可以基于当前的状态做出最佳的动作决策。Q学习是通过定义Q函数的方法来估计价值函数，聚焦于在状态$s$下找到执行动作$a$的累计奖励，通过迭代的方式求解。由于时序决策序列存在较强的相关性，DQN架构采用了经验回放技术提升网络的收敛性，每次训练过程中都从经验池中提取一定数量的经验数据，通过\ref{eq:Ltheta}计算目标网络与当前网络的误差，通过随机梯度下降（Stochastic Gradient Descent, SGD）的方式来更新网络参数。
\begin{equation}
L(\theta) = \mathrm{E} [(r_{t} + \gamma \max_{a'} Q'(s_{t+1}, a'; \theta ') - Q(s_t, a_t; \theta))^2]
\label{eq:Ltheta}
@@ -262,7 +261,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
\end{equation}
由式\ref{eq:Q_t_1}可以得到，SGD的本质就是最小化误差函数，即$\min L(\theta)$
本章提出的算法使用了卷积神经网络（convolutional neural network， CNN）作为Q网络的架构，具体而言主要包含了四层的网络结构。第一层是卷积层，包含16个$5\times 5$卷积核，依据\ref{sec:stateChange}中状态重构的描述，其输入为$M+1$张$L\times H$张量。第二层是32个$3\times 3$个卷积核。经过重新排列与重构输入到第三层和第四层的全连接层中，最后输出为$M$个Q值。其具体参数如表\ref{tab:Q}所示，其中$L = H = 10$。
本章算法使用了卷积神经网络（convolutional neural network， CNN）作为Q网络的架构，具体而言主要包含了四层的网络结构。第一层是卷积层，包含16个$5\times 5$卷积核，依据\ref{sec:stateChange}中状态重构的描述，其输入为$M+1$张$L\times H$张量。第二层是32个$3\times 3$个卷积核。经过重新排列与重构输入到第三层和第四层的全连接层中，最后输出为$M$个Q值。其具体参数如表\ref{tab:Q}所示，其中$L = H = 10$。
\begin{table}[hbpt]
\centering
@@ -285,7 +284,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
算法一共分为以下几个主要过程：
\begin{enumerate}
\item 参数初始化，初始化仿真场景和算法的参数。
\item 训练更新：将经验$\phi = {s, a, r, s}$存储到经验池。当经验池数据量达到训练门限时，随机选取一组数据批量训练，通过SGD的方式更新Q网络的参数，更新Q'网络的参数。
\item 训练更新：将经验$\phi = {s, a, r, s}$存储到经验池。当经验池数据量达到训练门限时，随机选取一组数据批量训练，通过随机梯度下降的方式更新Q网络的参数，更新Q'网络的参数。
\end{enumerate}
具体的步骤如下：
\begin{breakablealgorithm}
@@ -335,10 +334,10 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
\end{algorithmic}
\end{breakablealgorithm}
在算法的流程中使用到了$\epsilon - greedy$策略，即使用$\epsilon \in [0,1]$的概率随机地进行动作选择，否则选择具有最大Q只动的动作。这种方法的主要目的是在探索（exploration）和利用（exploitation）之间达到平衡，利用的含义是在当前的信息下选择已知的最优动作在当前例子中就是最大化Q值所对应的动作，这样主要的目的是利用历史知识进行学习，而探索则是随机选择一个动作，抛弃所有的已获得的信息。这种策略有助于寻找到全局最优解，避免过早地陷入到对局部最优解中。在本算法中使用衰减率$\lambda$来控制探索概率的衰减速度，$\epsilon_f$是探索概率的最小值。
在算法的流程中使用到了$\epsilon - greedy$策略，即使用$\epsilon \in [0,1]$的概率随机地进行动作选择，否则选择具有最大Q值的动作。这种方法的主要目的是在探索（exploration）和利用（exploitation）之间达到平衡，利用的含义是在当前的信息下选择已知的最优动作在当前例子中就是最大化Q值所对应的动作，这样主要的目的是利用历史知识进行学习，而探索则是随机选择一个动作，抛弃所有的已获得的信息。这种策略有助于寻找到全局最优解，避免过早地陷入到对局部最优解中。在本算法中使用衰减率$\lambda$来控制探索概率的衰减速度，$\epsilon_f$是探索概率的最小值。
\section{仿真结果分析}
本节首先搭建了评估本章提出算法的仿真环境，给出了DRL算法所使用的参数。为了验证算法的有效性和性能，选取了多个不同的参数但作为仿真的场景并与固定信道分配等算法进行了对比，结果表明本文提出的算法能够实现较高的频谱效率和较低的阻塞率。
本节首先搭建了评估本章算法的仿真环境，给出了DRL算法所使用的参数。为了验证算法的有效性和性能，选取了多个不同的参数但作为仿真的场景并与固定信道分配等算法进行了对比，结果表明本章的算法能够实现较高的频谱效率和较低的阻塞率。
\subsection{实验参数设计}
仿真中使用的是低轨的单颗L波段卫星系统，主要的参数如表\ref{tab:para}所示，主要参考文献\parencite{zhao2020deep}。其中，业务申请服从参数为$\lambda$的泊松分布，业务的持续时间服从参数为$\mu$的负指数分布，参考\parencite{刘帅军2018卫星通信系统中动态资源管理技术研究}。系统中初始存在的用户数为400，分散在各个波束内。业务速率的最低为\SI{500}{kbps}。
@@ -394,7 +393,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
\bottomrule
\end{tabular}
\end{table}
本次使用了Python3.10中的Torch机器学习框架实现了本次系统的算法，所有的仿真运行在CPU平台为Intel Core i7 11700CPU和NVIDIA RTX 3090 图形计算卡上。
本次使用了Python3.10中的PyTorch机器学习框架实现了本次系统的算法，所有的仿真运行在CPU平台为Intel Core i7 11700CPU和NVIDIA RTX 3090 图形计算卡上。
\subsection{算法性能分析}
\subsubsection{算法复杂度分析}
@@ -434,7 +433,7 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
\end{figure}
\subsubsection{系统性能分析}
为了比较所提出算法性能，本节选取了不同的业务参数、业务持续时间验证算法的性能，并与四色复用方案下的固定信道分配方式、最小化干扰的动态信道分配方式进行了比较。这几种算法的描述如下：
为了比较算法性能，本节选取了不同的业务参数、业务持续时间验证算法的性能，并与四色复用方案下的固定信道分配方式、最小化干扰的动态信道分配方式进行了比较。这几种算法的描述如下：
\begin{itemize}
\item 固定信道分配方式：将系统中的可用信道按照一定的频率复用因子划分为多个子集，每个波束归属于特定的子集，从每个子集中选择可使用的信道进行分配，本次使用四色复用的方案。
\item 最小干扰的动态分配方式：在每个时刻选择一个最小干扰的信道分配给用户。
@@ -452,9 +451,9 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
\caption{业务持续时间一定的情况下通信的阻塞率随着到达率的变化情况}
\label{fig:mu_6blk}
\end{figure}
如图\ref{fig:mu_6blk}所示，阻塞率会随着业务到达率的增大而增大，可用的信道数是固定的，随着到达率的增加，会有越来越多的用户因为信道被完全占用无法得到服务。本文提出的方法在业务的持续时间固定时，在大多数的业务到达率情况下在阻塞率方面优于其他两种算法。例如在$\lambda = 60$时，本文算法的阻塞率要比固定信道分配方式低约0.3，比动态分配方式低约0.03。
如图\ref{fig:mu_6blk}所示，阻塞率会随着业务到达率的增大而增大，可用的信道数是固定的，随着到达率的增加，会有越来越多的用户因为信道被完全占用无法得到服务。本章方法在业务的持续时间固定时，在大多数的业务到达率情况下在阻塞率方面优于其他两种算法。例如在$\lambda = 60$时，本文算法的阻塞率要比固定信道分配方式低约0.3，比动态分配方式低约0.03。
在所有的到达率中，固定信道的分配方式的系统阻塞率都要高于其他两种方法。这是因为本次比较的信道分配算法使用的是四色复用的方式，每个波束能够使用的信道数量较其他两种方法小，动态新的分配方式可以通过灵活的配置满足新到达的业务从而能够降低整体的阻塞率。固定分配方式的与动态方法之间的差距随着到达率的增大先逐渐增大再减小，到达率较低时，所有算法的都能有效的分配信道，而随着到达率的增大，固定分配方式和动态分配方式先后到达阈值。本文提出的算法在阻塞率方面都要优于贪心算法。这主要是因为贪心算法只考虑当前状态下系统的收益容易陷入到局部最优解，而通过DRL方法考虑了时域的关联性和累计的效率，能够更好地优化系统的性能。由于系统的带宽是固定的，阻塞率一定时能够服务用户数量可以一定程度上反映的系统的频谱效率与承载量，DRL算法能够在阻塞率在0.1时比固定分配算法提高2倍以上，相比贪心算法提升约4\%。这都表明DRL算法相比其他算法具有较高的频谱效率。
在所有的到达率中，固定信道的分配方式的系统阻塞率都要高于其他两种方法。这是因为本次比较的信道分配算法使用的是四色复用的方式，每个波束能够使用的信道数量较其他两种方法小，动态新的分配方式可以通过灵活的配置满足新到达的业务从而能够降低整体的阻塞率。固定分配方式的与动态方法之间的差距随着到达率的增大先逐渐增大再减小，到达率较低时，所有算法的都能有效的分配信道，而随着到达率的增大，固定分配方式和动态分配方式先后到达阈值。本章的DRL算法在阻塞率方面都要优于贪心算法。这主要是因为贪心算法只考虑当前状态下系统的收益容易陷入到局部最优解，而通过DRL方法考虑了时域的关联性和累计的效率，能够更好地优化系统的性能。由于系统的带宽是固定的，阻塞率一定时能够服务用户数量可以一定程度上反映的系统的频谱效率与承载量，DRL算法能够在阻塞率在0.1时比固定分配算法提高2倍以上，相比贪心算法提升约4\%。这都表明DRL算法相比其他算法具有较高的频谱效率。
\textbf{（2） 业务的到达率固定的情况}
@@ -481,4 +480,4 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
\section{本章小结}
% 本章基于深度强化学习领域的研究，提出了基于DQN的在低轨卫星通信下行链路中的多波束资源分配算法。本章首先详细分析了该场景下的序列决策问题，进而在分析问题的基础上提出了基于DQN的资源分配算法。本章首先对问题进行了数学建模，然后对状态空间进行了重构，接着详细介绍了DQN算法的原理和实现细节。最后通过仿真实验验证了本章提出的算法的有效性和性能。实验结果表明，本章提出的算法在低轨卫星通信场景下能够有效的降低系统的阻塞率，提高系统的频谱效率。
本研究针对低轨卫星通信下行链路中的多波束资源分配问题，提出了一种基于DQN算法的动态信道分配算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本文设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法能有效减少系统阻塞率并显著提升频谱效率。
本研究针对低轨卫星通信下行链路中的多波束资源分配问题，引入了深度强化学习中的DQN实现了动态信道分配算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本文设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法能有效减少系统阻塞率。