v1.0withoutAck

chap/chap3.tex

@@ -1,7 +1,7 @@
 % Copyright (c) 2014,2016,2018 Casper Ti. Vector
 % Public domain.
 
-\chapter{基于深度强化学习的卫星资源管理研究}
+\chapter{基于深度强化学习的信道分配算法研究}
 
 \section{引言}
 为了应对下一代卫星移动通信系统高吞吐量的数据需求，卫星广泛采用了多波束卫星的架构，每个卫星携带多个波束，分别覆盖地面特定的区域，波束共同组成了单卫星的区域覆盖。由于卫星通信的用户和终端在地理空间和使用时间上分布不均匀，卫星不同波束间的通信数据量存在较大的差异，如果采用固定的频谱分配方式，即使波束内不存在用户使用资源，也会造成资源的浪费。而采用动态资源分配的方式，即所有的信道资源都可以被各个波束的用户所使用，相比固定的频谱分配方式能够拥有较高的资源利用率。关于研究如何合理地将星上资源在波束之间分配的研究越来越多，这些研究主要是针对带宽或者功率作为优化目标，本章将首先针对现有的单一资源优化分配算法的性能进行研究，根据其不足提出基于强化学习的多波束卫星资源的分配算法。
@@ -248,7 +248,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
 \end{figure}
 
 
-\subsection{Q网络的架构与计算}
+\subsection{Q网络的架构与计算}\label{sec:qwl}
 如\ref{sec:rl}介绍，RL只在找到最佳的动作选择策略，这一策略可以基于当前的状态做出最佳的动作决策。Q学习是通过定义Q函数的方法来估计价值函数，聚焦于在状态$s$下找到执行动作$a$的累计奖励，通过迭代的方式求解。由于时序决策序列存在较强的相关性，采用了经验回放技术和目标网络的方式来提升网络的收敛性，每次训练过程中都从经验池中提取一定数量的经验数据，通过\ref{eq:Ltheta}计算目标网络与当前网络的误差，通过随机梯度下降（Stochastic Gradient Descent, SGD）的方式来更新网络参数。
 \begin{equation}
     L(\theta) = \mathrm{E} [(r_{t} + \gamma \max_{a'} Q'(s_{t+1}, a'; \theta ') - Q(s_t, a_t; \theta))^2]
@@ -327,7 +327,6 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
                 \STATE 更新目标网络$\theta' \leftarrow \theta$
             \ENDIF
         \ENDFOR
-        \STATE 1
         \ENDFOR
     \STATE 输出参数$\theta$
     \renewcommand{\algorithmicrequire}{\textbf{算法结束}}
@@ -340,7 +339,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
 \section{仿真结果分析}
 本节首先搭建了评估本章提出算法的仿真环境，主要是卫星的场景描述以及相关业务的参数，以及DRL算法所使用的参数。为了验证算法的有效性和性能，选取了多个不同的参数但作为仿真的场景并与固定信道分配等算法进行了对比，结果表明本文提出的算法能够实现较高的频谱效率和较低的阻塞率。
 \subsection{实验参数设计}
-仿真中使用的是低轨的单颗L波段卫星系统，主要的参数如表\ref{tab:para}所示。其中，业务的到达模型服从参数为$\lambda$的泊松分布，单位为次每分钟。同时业务的持续时间服从参数为$\mu$的负指数分布，单位分钟。业务速率的最低门限视为是\SI{500}{kbps}。系统中初始存在的用户数为400，分散在各个波束内。
+仿真中使用的是低轨的单颗L波段卫星系统，主要的参数如表\ref{tab:para}所示，主要参考文献\parencite{zhao2020deep}。其中，业务的到达模型服从参数为$\lambda$的泊松分布，单位为次每分钟。同时业务的持续时间服从参数为$\mu$的负指数分布，单位分钟。业务速率的最低门限视为是\SI{500}{kbps}。系统中初始存在的用户数为400，分散在各个波束内。
 
 \begin{table}
     \centering
@@ -398,7 +397,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
     
 \subsection{算法性能分析}
 \subsubsection{算法复杂度分析}
-本文中使用的DRL算法通过状态重构、卷积降采样等方式降低了数据维度和计算的复杂度，从而在一定成都上大大缩减了计算开销和计算时间。本算法使用了卷积神经网络描述，其中卷积层的复杂度为：
+本文中使用的DRL算法通过状态重构、卷积降采样等方式降低了数据维度和计算的复杂度，从而在大大缩减了计算开销和计算时间。本算法使用了卷积神经网络描述，其中卷积层的复杂度为：
 \begin{equation}
     \mathcal{O}(\sum_{i=1}^{N_{conv}} M_i^2\cdot K_i^2 \cdot C_{in} \cdot C_{out})
     \label{eq:CNN}
@@ -481,4 +480,4 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
 \section{本章小结}
 % 本章基于深度强化学习领域的研究，提出了基于DQN的在低轨卫星通信下行链路中的多波束资源分配算法。本章首先详细分析了该场景下的序列决策问题，进而在分析问题的基础上提出了基于DQN的资源分配算法。本章首先对问题进行了数学建模，然后对状态空间进行了重构，接着详细介绍了DQN算法的原理和实现细节。最后通过仿真实验验证了本章提出的算法的有效性和性能。实验结果表明，本章提出的算法在低轨卫星通信场景下能够有效的降低系统的阻塞率，提高系统的频谱效率。
 
-本研究针对低轨卫星通信下行链路中的多波束资源分配问题，提出了一种基于DQN算法的动态信道梵佛我算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本文设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法能有效减少系统阻塞率并显著提升频谱效率。
+本研究针对低轨卫星通信下行链路中的多波束资源分配问题，提出了一种基于DQN算法的动态信道分配算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本文设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法能有效减少系统阻塞率并显著提升频谱效率。