v1.1withoutAck
This commit is contained in:
Junior
+2
-2
@@ -53,11 +53,11 @@
|
||||
\end{figure}
|
||||
|
||||
|
||||
强化学习的技术源于行为主义心理学理论（Behaviorism Theory）中试错学习，同时与控制领域中的最优控制理论、近似动态规划（Approximate Dynamic Programming，ADP）等合流形成\supercite{kaelbling1996reinforcement}\supercite{russell2016artificial}\supercite{sutton2018reinforcement}。试错学习的思想就是动物或其他智能体通过反复的过程完成学习，动物出于某种动机采取一定的行动，在采取行动后能够得到某种刺激，刺激与实现动机的行动之间产生映射关系，正面的刺激会强化采取该行为的期望，而负面的刺激会削弱采取行为的期望，为了实现动机就会重复采取行动从而实现最终的目标\supercite{morales2012introduction}。强化学习的基本思想就是模拟生物的这种为了适应环境而进行进化的过程，自主地学会如何在环境中采取行动，以获得最大的奖励。
|
||||
强化学习的技术源于行为主义心理学理论（Behaviorism Theory）中试错学习，同时与控制领域中的最优控制理论、近似动态规划（Approximate Dynamic Programming，ADP）等合流形成\supercite{kaelbling1996reinforcement}\supercite{russell2016artificial}\supercite{sutton2018reinforcement}。试错学习的思想就是动物或其他智能体通过反复的过程完成学习，动物出于某种动机采取一定的行动，在采取行动后能够得到某种刺激，刺激与实现动机的行动之间产生映射关系，正面的刺激会强化采取该行为的期望，而负面的刺激会削弱采取行为的期望，为了实现动机就会重复采取行动从而实现最终的目标\supercite{morales2012introduction}。强化学习的基本思想就是模拟生物的这种为了适应环境而进行进化的过程，自主地学会如何在环境中采取行动，以获得最大的奖励\supercite{周碧莹2019基于强化学习的卫星网络资源调度机制}。
|
||||
|
||||
相较于无监督学习和有监督学习，强化学习的方法更加灵活。在无监督学习和有监督学习中，解决问题需要明确定义问题和解决问题的模式。而在强化学习中，更多地关注确定可以采取的行动，而不需要明确规定如何执行这些行动。通过不断地尝试和错误，强化学习系统可以自主学习并逐步优化其行动策略，最终达到最优解。
|
||||
|
||||
强化学习在优化决策、解决问题等方面具有广泛的应用，例如棋牌对弈、机器人模拟等。值得注意的是，强化学习与卫星通信系统的星上资源分配问题具有一定的相似性。在卫星通信系统中，卫星需要根据不同的卫星业务申请和当前的通信环境，为每个用户提供相应的资源分配。然后，根据资源分配的反馈信息，优化全局的通信业务决策策略。在这样的环境下，强化学习可以被视为一种有效的方法，通过不断地学习和调整，来实现资源分配的最优化。
|
||||
强化学习在优化决策、解决问题等方面具有广泛的应用，例如棋牌对弈、机器人模拟等。值得注意的是，强化学习与卫星通信系统的星上资源分配问题具有一定的相似性。在卫星通信系统中，卫星根据不同的业务申请需求、流量需求、资源分配情况，为每个用户提供相应的资源分配。分配完成后，根据资源分配的结果得到相应的反馈信息，优化全局的决策策略。在这样的环境下，强化学习可以被视为一种有效的方法，通过不断地学习和调整，来实现资源分配的最优化。
|
||||
|
||||
\section{研究现状}
|
||||
|
||||
|
||||
+9
-6
@@ -78,7 +78,7 @@
|
||||
\section{空间传输特性}
|
||||
|
||||
\subsection{天线增益}
|
||||
卫星使用天线进行上行信号的接收和下行信号的发射，并且实现对信道的放大处理。多波束天线主要包括了多波束相控阵天线、多波束透镜天线以及反射面天线等三种。反射面天线常用于同步轨道上卫星通信系统，透镜天线则应用较少。相控阵天线在多波束卫星通信系统中有着越来越广泛的应用，包括StarLink在内的近地轨道卫星全球互联网接入服务都是用了有源相控阵天线技术为了为用户提供技术服务。多波束卫星的相控阵卫星天线有多个相同的天线元间距均匀排列而成，通过波束形成网络激励生成所需要的不同形状的相互独立的波束，对波束的数目等进行灵活的配置与管理。下面以多波束天线为例，给出多波束卫星天线的传输模型。
|
||||
卫星使用天线进行上行信号的接收和下行信号的发射，并且实现对信道的放大处理。多波束天线主要包括了多波束相控阵天线、多波束透镜天线以及反射面天线等三种。反射面天线常用于同步轨道的卫星通信系统，透镜天线则应用较少\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。相控阵天线在多波束卫星通信系统中有着越来越广泛的应用，包括StarLink在内的近地轨道卫星全球互联网接入服务都是用了有源相控阵天线技术为了为用户提供技术服务。多波束卫星的相控阵卫星天线有多个相同的天线元间距均匀排列而成，通过波束形成网络激励生成所需要的不同形状的相互独立的波束，对波束的数目等进行灵活的配置与管理。下面以多波束天线为例，给出多波束卫星天线的传输模型。
|
||||
|
||||
天线增益是对一定方向上信号发射和接收的能力，天线在其最辐射方向上具有最大的增益，可以表示为：
|
||||
\begin{equation}
|
||||
@@ -154,7 +154,7 @@
|
||||
\end{table}
|
||||
|
||||
\subsection{链路损耗}
|
||||
卫星通信系统中，星地链路的传播特性影响并决定这系统的通信质量，本部分将介绍星地链路的基本传输特性与损耗特性，为后续建立系统模型进行铺垫。
|
||||
卫星通信息系统中，系统的通信质量与信道容量等主要由卫星链路的传播特性决定，本部分将介绍星地链路的基本传输特性与损耗特性，为后续建立系统模型进行铺垫。
|
||||
\subsubsection{路径损耗}
|
||||
|
||||
卫星通信与用户终端之间存在多种不同衰减的影响，使用分贝形式可以表达为
|
||||
@@ -165,7 +165,7 @@
|
||||
|
||||
其中$L_f$ 代表自由空间传播损耗，$L_g$ 代表大气吸收损耗，$L_r$ 雨衰。
|
||||
\begin{enumerate}[label=(\arabic*)]
|
||||
\item 自由空间传播损耗：电磁波在星地之间进行传播时，信号能量将会随着距离的增加而进行扩散，由此会产生的传播损耗被称为自由空间传播损耗\supercite{ilvcev2017global}。自由空间传播损耗是最基本的传播损失，由于自由空间的传播损失，用户终端接收到的信号功率仅占发射功率极小部分。自由空间的传输损耗与传播距离的平方成正比，与载波波长成反比，由此定义自由空间传播损耗$L_f$为
|
||||
\item 自由空间传播损耗：电磁波在星地之间进行传播时，信号能量将会随着距离的增加而进行扩散，由此会产生的传播损耗被称为自由空间传播损耗\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。自由空间传播损耗是最基本的传播损失，由于自由空间的传播损失，用户终端接收到的信号功率仅占发射功率极小部分。自由空间的传输损耗与传播距离的平方成正比，与载波波长成反比，由此定义自由空间传播损耗$L_f$为
|
||||
|
||||
\begin{equation}
|
||||
L_f = (\frac{4\pi d}{\lambda})^2 = (\frac{4\pi d f}{c})^2
|
||||
@@ -193,7 +193,8 @@
|
||||
|
||||
\subsubsection{系统噪声}
|
||||
|
||||
在卫星通信系统中，从卫星发射端对接收端的信号检测解调过程中，都存在这噪声的干扰，根据奈奎斯特公式，噪声的功率为
|
||||
% 在卫星通信系统中，从卫星发射端对接收端的信号检测解调过程中，都存在这噪声的干扰，根据奈奎斯特公式，噪声的功率为
|
||||
电子元件中存在热扰动，由此会产生一定的热噪声，这一噪声被称为奈奎斯特噪声，热噪声的功率通常使用公式\ref{eq:noise}表达。
|
||||
\begin{equation}
|
||||
N = kTB
|
||||
\label{eq:noise}
|
||||
@@ -215,10 +216,12 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
|
||||
EIPR = G_t P_t
|
||||
\label{eq:eipr}
|
||||
\end{equation}
|
||||
用户终端和接收系统的性能可以使用系统的品质系数表征，记作$\frac{G}{T}$
|
||||
，其含义是接收终端的增益和电路系统的噪声温度的比值。
|
||||
|
||||
为了衡量接收系统的性能，定义接收端天线增益与接收端系统噪声温度之比为接收系统的品质因数，记作$\frac{G}{T}$。
|
||||
% 为了衡量接收系统的性能，定义接收端天线增益与接收端系统噪声温度之比为接收系统的品质因数，记作$\frac{G}{T}$。
|
||||
|
||||
载噪比$C/N$是接收到的载波功率与系统的噪声功率之间的比值，是衡量卫星链路质量情况的重要指标，接收端载噪比可以写为：
|
||||
载噪比$C/N$是接收到的信号载波的功率与系统的噪声功率比值，反映了信号的质量，接收端载噪比可以写为：
|
||||
\begin{equation}
|
||||
C/N = \frac{P_r}{N} = \frac{P_tG_tG_r}{L_fL_0kTB}
|
||||
\label{eq:CNR}
|
||||
|
||||
+9
-8
@@ -4,7 +4,7 @@
|
||||
\chapter{基于深度强化学习的信道分配算法研究}
|
||||
|
||||
\section{引言}
|
||||
为了应对下一代卫星移动通信系统高吞吐量的数据需求，卫星广泛采用了多波束卫星的架构，每个卫星携带多个波束，分别覆盖地面特定的区域，波束共同组成了单卫星的区域覆盖。由于卫星通信的用户和终端在地理空间和使用时间上分布不均匀，卫星不同波束间的通信数据量存在较大的差异，如果采用固定的频谱分配方式，即使波束内不存在用户使用资源，也会造成资源的浪费。而采用动态资源分配的方式，即所有的信道资源都可以被各个波束的用户所使用，相比固定的频谱分配方式能够拥有较高的资源利用率。关于研究如何合理地将星上资源在波束之间分配的研究越来越多，这些研究主要是针对带宽或者功率作为优化目标，本章将首先针对现有的单一资源优化分配算法的性能进行研究，根据其不足提出基于强化学习的多波束卫星资源的分配算法。
|
||||
为了应对下一代卫星移动通信系统高吞吐量的数据需求，卫星广泛采用了多波束卫星的架构，每个卫星携带多个波束，分别覆盖地面特定的区域，波束共同组成了单卫星的区域覆盖。由于卫星通信的用户和终端在地理空间和使用时间上分布不均匀，卫星不同波束间的通信数据量存在较大的差异，如果采用固定的频谱分配方式，即使波束内不存在用户使用资源，也会造成资源的浪费。而采用动态资源分配的方式，即所有的信道资源都可以被各个波束的用户所使用\supercite{刘召2019多波束卫星动态信道资源分配算法}，相比固定的频谱分配方式能够拥有较高的资源利用率。关于研究如何合理地将星上资源在波束之间分配的研究越来越多，这些研究主要是针对带宽或者功率作为优化目标，本章将首先针对现有的单一资源优化分配算法的性能进行研究，根据其不足提出基于强化学习的多波束卫星资源的分配算法。
|
||||
% 但是在多波束卫星系统中，从不同的波束发送的信道在卫星转发器相遇，这样导致使用相同频率资源的信号在中心距离小于同频复用距离时存在同频干扰
|
||||
|
||||
% 但多波束卫星系统中，不同波束使用相同信道进行转发时，会产生同频干扰，使用相同频率工作的波束会相互干扰，引起通信速率和通信质量的下降。
|
||||
@@ -45,7 +45,8 @@ $$\mathbf{X} = \{x_{k,n}|x_{k,n}\in\{0,1\}, \sum_{n=1}^{N}x_{k,n}=1,\forall k
|
||||
卫星系统中卫星的总功率和总的带宽可以分别使用$P_{tot}$和$B$表示，而每个波束的最大功率和每个波束的带宽可以表示为$P_b$与$B_b$。由于星上带宽资源具有稀缺性，卫星分配个各个波束的带宽通常小于或等于其业务需求量，即
|
||||
$$C_i \le T_i^t, \forall t$$
|
||||
|
||||
多波束卫星通信的一大特点就是可以使用频率复用技术，能够使得卫星在使用相同信道的同时与多个波束服务的小区内的用户进行通信。频率复用技术的优势能够提高频率资源的利用率，提高系统的通信容量。但是同频复用导致波束的天线旁瓣增益对其他使用同频信道的波束造成一定的干扰，而这种干扰能够会影响系统的容量。假设系统拥有$M$个可以复用的信道，每个可复用信道的带宽为$B_c = \frac{B}{M}$，即每个点波束可以在所有可用的信道集合中分配未使用的信道，每个用户单个时隙只能占有一个信道。假设星上资源中，每个信道$m$给用户分配的功率为$w_{m,k}$，那么可以用以下矩阵作为信道分配的描述：
|
||||
% 多波束卫星通信的一大特点就是可以使用频率复用技术，能够使得卫星在使用相同信道的同时与多个波束服务的小区内的用户进行通信。频率复用技术的优势能够提高频率资源的利用率，提高系统的通信容量。
|
||||
多波束卫星通信的一个显著特点是它能够利用频率复用技术。这使得卫星可以在同一信道上同时服务多个波束覆盖的小区，与这些小区内的众多用户进行通信。这种频率复用技术大幅提高了频率资源的利用效率和整个系统的通信容量。但是同频复用导致波束的天线旁瓣增益对其他使用同频信道的波束造成一定的干扰，而这种干扰能够会影响系统的容量。假设系统拥有$M$个可以复用的信道，每个可复用信道的带宽为$B_c = \frac{B}{M}$，即每个点波束可以在所有可用的信道集合中分配未使用的信道，每个用户单个时隙只能占有一个信道。假设星上资源中，每个信道$m$给用户分配的功率为$w_{m,k}$，那么可以用以下矩阵作为信道分配的描述：
|
||||
$$
|
||||
\mathbf{W} = [\mathbf{w_1, w_2,\dots,w_K}] =
|
||||
\begin{bmatrix}
|
||||
@@ -107,7 +108,7 @@ $$
|
||||
|
||||
公式\ref{eq:ci}给出了用户在所建模的低轨卫星通信系统上在系统资源分配策略下可以达到的速率。为了保障用户的服务质量，该速度需要满足达到特定的最低值，否则通信或者数据传输服务就会因为服务质量过程被阻塞或者失去响应，将速度最低值记为$C_t$。
|
||||
|
||||
在以上的基础上，卫星的资源分配问题可以描述为在给定的资源约束下，最大化系统的频谱效率，同时也是最大化信道的利用率和最小化系统的服务的阻塞概率，这一问题属于序列决策问题，这一问题在\ref{sec:decision}中已经有了比较细致的阐释。具体到该问题就是需要对离散时域上的业务到达请求进行信道的合理分配，以达到最大化系统的频谱效率的目标。而对决策起到主要影响的就是由于用户地理位置和频率复用产生的共频干扰。当$t$时刻，用户$u_i$申请接入卫星通信系统，由$\mathbf{X}$矩阵可知，需要在波束$b'=\arg \max \mathbf{x_i}$中寻找合适的信道$c$，为用户提供服务，如果存在能够满足限制条件的信道，那么用户就能得到服务，否则用户就会被阻塞。是否阻塞反应了用户的QoS质量，定义阻塞函数：
|
||||
在以上的基础上，卫星的资源分配问题可以描述为在给定的资源约束下，在业务到达时为其分配合理的信道，最大化系统的频谱效率，这一问题属于序列决策问题，这一问题在\ref{sec:decision}中已经有了比较细致的阐释。具体到该问题就是需要对离散时域上的业务到达请求进行信道的合理分配。本文场景中系统的频谱效率与同时接入服务的用户数量等价，最优化系统的频谱效率就是最小化系统的阻塞率。对决策起到主要影响的就是由于用户地理位置和频率复用产生的共频干扰。当$t$时刻，用户$u_i$申请接入卫星通信系统，由$\mathbf{X}$矩阵可知，需要在波束$b'=\arg \max \mathbf{x_i}$中寻找合适的信道$c$，为用户提供服务，如果存在能够满足限制条件的信道，那么用户就能得到服务，否则用户就会被阻塞。是否阻塞反应了用户的QoS质量，定义阻塞函数：
|
||||
\begin{equation}
|
||||
\Psi^t = \begin{cases}
|
||||
1, & \text{用户被阻塞} \\
|
||||
@@ -146,7 +147,7 @@ $$
|
||||
|
||||
\subsection{总体框架}
|
||||
|
||||
由于在本问题中，每个用户每个时刻最多只能占用一个信道，因此每次决策时只需要输出一维的动作信息即选择一个可用的信道。算法将卫星和用户端的业务建模为强化学习的环境，智能体所获得的收益值通过最优化的目标函数表征，通过基于值的强化学习方法深度Q网络的思想，一步步实现收益的优化。算法的总体框架图为\ref{fig:framework1}。
|
||||
由于在本问题中，每个用户每个时刻最多只能占用一个信道，因此每次决策时只需要输出一维的动作信息即选择一个可用的信道。算法将卫星视为一个智能体，用户和信道的分配信息量化为系统的状态信息，智能体和状态相结合得到环境的反馈，这一反馈转化为系统目标函数的奖励值，通过基于值的强化学习方法深度Q网络的思想，一步步实现收益的优化。算法的总体框架图为\ref{fig:framework1}。
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
@@ -337,9 +338,9 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
|
||||
在算法的流程中使用到了$\epsilon - greedy$策略，即使用$\epsilon \in [0,1]$的概率随机地进行动作选择，否则选择具有最大Q只动的动作。这种方法的主要目的是在探索（exploration）和利用（exploitation）之间达到平衡，利用的含义是在当前的信息下选择已知的最优动作在当前例子中就是最大化Q值所对应的动作，这样主要的目的是利用历史知识进行学习，而探索则是随机选择一个动作，抛弃所有的已获得的信息。这种策略有助于寻找到全局最优解，避免过早地陷入到对局部最优解中。在本算法中使用衰减率$\lambda$来控制探索概率的衰减速度，$\epsilon_f$是探索概率的最小值。
|
||||
|
||||
\section{仿真结果分析}
|
||||
本节首先搭建了评估本章提出算法的仿真环境，主要是卫星的场景描述以及相关业务的参数，以及DRL算法所使用的参数。为了验证算法的有效性和性能，选取了多个不同的参数但作为仿真的场景并与固定信道分配等算法进行了对比，结果表明本文提出的算法能够实现较高的频谱效率和较低的阻塞率。
|
||||
本节首先搭建了评估本章提出算法的仿真环境，给出了DRL算法所使用的参数。为了验证算法的有效性和性能，选取了多个不同的参数但作为仿真的场景并与固定信道分配等算法进行了对比，结果表明本文提出的算法能够实现较高的频谱效率和较低的阻塞率。
|
||||
\subsection{实验参数设计}
|
||||
仿真中使用的是低轨的单颗L波段卫星系统，主要的参数如表\ref{tab:para}所示，主要参考文献\parencite{zhao2020deep}。其中，业务的到达模型服从参数为$\lambda$的泊松分布，单位为次每分钟。同时业务的持续时间服从参数为$\mu$的负指数分布，单位分钟。业务速率的最低门限视为是\SI{500}{kbps}。系统中初始存在的用户数为400，分散在各个波束内。
|
||||
仿真中使用的是低轨的单颗L波段卫星系统，主要的参数如表\ref{tab:para}所示，主要参考文献\parencite{zhao2020deep}。其中，业务申请服从参数为$\lambda$的泊松分布，业务的持续时间服从参数为$\mu$的负指数分布，参考\parencite{刘帅军2018卫星通信系统中动态资源管理技术研究}。系统中初始存在的用户数为400，分散在各个波束内。业务速率的最低为\SI{500}{kbps}。
|
||||
|
||||
\begin{table}
|
||||
\centering
|
||||
@@ -453,7 +454,7 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
|
||||
\end{figure}
|
||||
如图\ref{fig:mu_6blk}所示，阻塞率会随着业务到达率的增大而增大，可用的信道数是固定的，随着到达率的增加，会有越来越多的用户因为信道被完全占用无法得到服务。本文提出的方法在业务的持续时间固定时，在大多数的业务到达率情况下在阻塞率方面优于其他两种算法。例如在$\lambda = 60$时，本文算法的阻塞率要比固定信道分配方式低约0.3，比动态分配方式低约0.03。
|
||||
|
||||
在所有的到达率中，固定信道的分配方式的系统阻塞率都要高于其他两种方法。这是因为本次比较的信道分配算法使用的是四色复用的方式，每个波束能够使用的信道数量较其他两种方法小，动态新的分配方式可以通过灵活的配置满足新到达的业务从而能够降低整体的阻塞率。固定分配方式的与动态方法之间的差距随着到达率的增大先逐渐增大再减小，到达率较低时，所有算法的都能有效的分配信道，而随着到达率的增大，固定分配方式和动态分配方式先后到达阈值。而在大多数情况下，本文提出的算法在阻塞率方面都要优于贪心算法。这主要是因为贪心算法只考虑当前状态下系统的收益容易陷入到局部最优解，而通过DRL方法考虑了时域的关联性和累计的效率，能够更好地优化系统的性能。但是从图中也可以看到DRL方法在一些情况下阻塞率大于贪心算法，这主要是因为DRL算法不可避免的会受到训练数据集时序特征的影响，为了消除这种影响，可以考虑使用多次训练求平均值的方法。由于系统的带宽是固定的，阻塞率一定时能够服务用户数量可以一定程度上反映的系统的频谱效率与承载量，DRL算法能够在阻塞率在0.1时比固定分配算法提高2倍以上，相比贪心算法提升约4\%。这都表明DRL算法相比其他算法具有较高的频谱效率。
|
||||
在所有的到达率中，固定信道的分配方式的系统阻塞率都要高于其他两种方法。这是因为本次比较的信道分配算法使用的是四色复用的方式，每个波束能够使用的信道数量较其他两种方法小，动态新的分配方式可以通过灵活的配置满足新到达的业务从而能够降低整体的阻塞率。固定分配方式的与动态方法之间的差距随着到达率的增大先逐渐增大再减小，到达率较低时，所有算法的都能有效的分配信道，而随着到达率的增大，固定分配方式和动态分配方式先后到达阈值。本文提出的算法在阻塞率方面都要优于贪心算法。这主要是因为贪心算法只考虑当前状态下系统的收益容易陷入到局部最优解，而通过DRL方法考虑了时域的关联性和累计的效率，能够更好地优化系统的性能。由于系统的带宽是固定的，阻塞率一定时能够服务用户数量可以一定程度上反映的系统的频谱效率与承载量，DRL算法能够在阻塞率在0.1时比固定分配算法提高2倍以上，相比贪心算法提升约4\%。这都表明DRL算法相比其他算法具有较高的频谱效率。
|
||||
|
||||
|
||||
\textbf{（2） 业务的到达率固定的情况}
|
||||
@@ -469,7 +470,7 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
|
||||
|
||||
如图\ref{fig:lamb10}所示，展示了低业务量场景（$\lambda = 20$）下各个算法的表现。同样地，随着业务持续时间的增加，各个算法的阻塞率都呈现出增加的趋势。从图中可以看出，当业务量较低时，两种动态资源分配算法都能够有效的降低系统的阻塞率，而固定分配方式的阻塞率要高于其他两种方法。在低业务量的场景下，DRL算法能够在业务平均持续时间更长的情况下保持较低的业务阻塞率和较高的业务呼通率，这表明在低频的业务量场景下，DRL算法能够有效的保障整个通信系统的性能。
|
||||
|
||||
\begin{figure}[H]
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.7\textwidth]{chap/figures/lamb_90.png}
|
||||
\caption{高业务量场景下系统的表现情况}
|
||||
|
||||
+1
-1
@@ -182,7 +182,7 @@
|
||||
|
||||
|
||||
|
||||
\begin{figure}
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.85\textwidth]{chap/figures/mheads.png}
|
||||
\caption{多头Q网络示意图}
|
||||
|
||||
Binary file not shown.
|
Before Width: | Height: | Size: 34 KiB After Width: | Height: | Size: 35 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 31 KiB After Width: | Height: | Size: 31 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 21 KiB After Width: | Height: | Size: 21 KiB |
+26
@@ -489,4 +489,30 @@ employing geostationary satellites },
|
||||
pages={370--378},
|
||||
year={1977},
|
||||
publisher={IEEE}
|
||||
}
|
||||
|
||||
@article{周碧莹2019基于强化学习的卫星网络资源调度机制,
|
||||
title={基于强化学习的卫星网络资源调度机制.},
|
||||
author={周碧莹 and 王爱平 and 费长江 and 虞万荣 and 赵宝康},
|
||||
journal={Computer Engineering \& Science/Jisuanji Gongcheng yu Kexue},
|
||||
volume={41},
|
||||
number={12},
|
||||
year={2019}
|
||||
}
|
||||
|
||||
@article{刘召2019多波束卫星动态信道资源分配算法,
|
||||
title={多波束卫星动态信道资源分配算法},
|
||||
author={刘召 and 许珂},
|
||||
journal={移动通信},
|
||||
volume={43},
|
||||
number={5},
|
||||
pages={27--32},
|
||||
year={2019}
|
||||
}
|
||||
|
||||
@article{刘帅军2018卫星通信系统中动态资源管理技术研究,
|
||||
title={卫星通信系统中动态资源管理技术研究},
|
||||
author={刘帅军},
|
||||
journal={北京: 北京邮电大学},
|
||||
year={2018}
|
||||
}
|
||||
Reference in New Issue
Block a user