v2.1ack
This commit is contained in:
Junior
+11
-5
@@ -11,9 +11,9 @@
|
|||||||
|
|
||||||
% 最后，针对跳波束问题，本文概述了跳波束卫星通信系统的前向链路模型，以优化通信吞吐量和时延的公平性为优化目标函数，建立起基于深度强化学习的跳波束与信道联合分配算法。该算法包含两个独立的深度Q网络，分别对波束点亮方案和信道分配方式进行优化，通过多头输出的方式解决跳波束分配问题中空间复杂度过高的问题。仿真结果表明，与传统算法相比，该方法能有效提高系统的吞吐量，并且能够保证系统的时延公平性，同时相比遗传算法等启发式算法能够有效减少系统的决策时间，能够应对动态变化的系统环境。
|
% 最后，针对跳波束问题，本文概述了跳波束卫星通信系统的前向链路模型，以优化通信吞吐量和时延的公平性为优化目标函数，建立起基于深度强化学习的跳波束与信道联合分配算法。该算法包含两个独立的深度Q网络，分别对波束点亮方案和信道分配方式进行优化，通过多头输出的方式解决跳波束分配问题中空间复杂度过高的问题。仿真结果表明，与传统算法相比，该方法能有效提高系统的吞吐量，并且能够保证系统的时延公平性，同时相比遗传算法等启发式算法能够有效减少系统的决策时间，能够应对动态变化的系统环境。
|
||||||
|
|
||||||
近年来随着卫星互联网、手机直连卫星快速发展，国际标准组织3GPP、ITU等将卫星通信纳入第六代无线通信中重要组成部分，卫星通信将步入飞速发展的新阶段，卫星通信将会得到更深入融合应用卫星通信业务及用户的将迎来快速增长。传统频率复用、多波束技术的有效提升了卫星资源使用效率，但随着用户数增多，服务质量要求多样，业务时、空分布不均匀性突出，对系统灵活高效资源分配提出了更高挑战。论文针对卫星通信中资源分配面临的新问题，结合目前广受关注的深度强化学习技术，在信道分配问题上利用神经网络发掘时空关联性，在跳波束问题上利用多智能体等技术解决跳波束问题信道与波束点亮联合分配的问题。
|
近年来随着卫星互联网、手机直连卫星快速发展，国际标准组织3GPP、ITU等机构已将卫星通信纳入第六代无线通信的重要组成部分，卫星通信将步入飞速发展的新阶段，星通信将会得到更深入的融合应用，卫星通信业务及用户数量等将迎来快速增长。传统频率复用、多波束技术等有效提升了卫星资源使用效率，但随着用户数量的增加和服务质量需求的多样化，业务在时间和空间上的分布不均问题变得更加突出，这对系统灵活高效地分配资源提出了更高的挑战。论文针对卫星通信中资源分配面临的新问题，结合目前广受关注的深度强化学习技术，在信道分配问题上利用神经网络发掘时空关联性，在跳波束问题上利用多智能体等技术解决跳波束问题中信道与波束点亮联合分配的问题。
|
||||||
|
|
||||||
本文首先介绍了多波束卫星通信系统的基本架构、卫星的信道传输特性以及马尔科夫决策过程和强化学习等技术，建立了基于深度强化学习的信道分配问题的基本场景与用户通信模型。为了保证用户质量通信质量，以用户通信的阻塞率作为优化目标，设计了基于深度强化学习的动态信道分配算法。该算法以将用户的地理位置通过状态转换使用多通道的图片描述，通过基于卷积神经网络和深度Q网络的求解得到实时的信道分配策略。仿真结果表明，基于深度强化学习的信道分配算法相比其他算法，能够有效保证系统的接通率，提高频谱效率。
|
本文首先介绍了多波束卫星通信系统的基本架构、卫星的信道传输特性以及马尔科夫决策过程和强化学习等技术，建立了基于深度强化学习的信道分配问题的基本场景与用户通信模型。为了保证用户的通信质量，以用户通信的阻塞率作为优化目标，设计了基于深度强化学习的动态信道分配算法。该算法通过状态转换将用户的地理位置描述为多通道图像，并基于卷积神经网络和深度Q网络进行求解，从而获得实时的信道分配策略。仿真结果表明，基于深度强化学习的信道分配算法相比其他算法，能够有效保证系统的接通率，提高频谱效率。
|
||||||
|
|
||||||
进一步针对跳波束应用下的信道分配，以优化通信吞吐量和时延的公平性为优化目标函数，建立起基于深度强化学习的跳波束与信道联合分配算法。该算法包含两个独立的深度Q网络，分别对波束点亮方案和信道分配方式进行优化，采用多头输出的方法解决了跳波束分配问题中空间复杂度过高的问题。仿真结果表明，与传统算法相比，该方法能有效提高系统的吞吐量，并且能够保证系统的时延公平性，同时相比遗传算法等启发式算法能够有效减少系统的决策时间，能够应对动态变化的通信环境。
|
进一步针对跳波束应用下的信道分配，以优化通信吞吐量和时延的公平性为优化目标函数，建立起基于深度强化学习的跳波束与信道联合分配算法。该算法包含两个独立的深度Q网络，分别对波束点亮方案和信道分配方式进行优化，采用多头输出的方法解决了跳波束分配问题中空间复杂度过高的问题。仿真结果表明，与传统算法相比，该方法能有效提高系统的吞吐量，并且能够保证系统的时延公平性，同时相比遗传算法等启发式算法能够有效减少系统的决策时间，能够应对动态变化的通信环境。
|
||||||
|
|
||||||
@@ -31,11 +31,17 @@
|
|||||||
|
|
||||||
% Finally, for the beam hopping issue, this paper outlines the forward link model of the beam hopping satellite communication system and establishes the joint allocation algorithm for beam hopping and channels based on deep reinforcement learning, with the optimization of communication throughput and fairness of delay as the objective function. This algorithm contains two independent deep Q networks, optimizing the beam lighting scheme and channel allocation method, respectively, and solves the problem of high spatial complexity in beam hopping allocation using multi-head output. Simulation results indicate that compared to traditional algorithms, this method can effectively improve the system's throughput and ensure the fairness of system delay. Compared to heuristic algorithms like genetic algorithms, it can significantly reduce the system's decision time, enabling it to cope with dynamically changing environments.
|
% Finally, for the beam hopping issue, this paper outlines the forward link model of the beam hopping satellite communication system and establishes the joint allocation algorithm for beam hopping and channels based on deep reinforcement learning, with the optimization of communication throughput and fairness of delay as the objective function. This algorithm contains two independent deep Q networks, optimizing the beam lighting scheme and channel allocation method, respectively, and solves the problem of high spatial complexity in beam hopping allocation using multi-head output. Simulation results indicate that compared to traditional algorithms, this method can effectively improve the system's throughput and ensure the fairness of system delay. Compared to heuristic algorithms like genetic algorithms, it can significantly reduce the system's decision time, enabling it to cope with dynamically changing environments.
|
||||||
|
|
||||||
In recent years, with the rapid development of satellite internet and direct satellite connections via mobile phones, international standard organizations such as 3GPP and ITU have incorporated satellite communications into the sixth generation of wireless communications as a key component. Satellite communications are entering a phase of rapid development and will see deeper integration and application, leading to rapid growth in satellite communication services and users. Traditional frequency reuse and multi-beam technologies have effectively improved the utilization efficiency of satellite resources. However, as the number of users increases and service quality demands become more diverse, with prominent temporal and spatial distribution imbalances, the need for flexible and efficient resource allocation systems has become more challenging. This paper addresses the new issues faced in resource allocation in satellite communications, utilizing the widely discussed deep reinforcement learning technology. Neural networks are used to explore spatiotemporal correlations in channel allocation, and multi-agent techniques are employed to address joint channel and beam allocation in the beam-hopping problem.
|
% In recent years, with the rapid development of satellite internet and direct satellite connections via mobile phones, international standard organizations such as 3GPP and ITU have incorporated satellite communications into the sixth generation of wireless communications as a key component. Satellite communications are entering a phase of rapid development and will see deeper integration and application, leading to rapid growth in satellite communication services and users. Traditional frequency reuse and multi-beam technologies have effectively improved the utilization efficiency of satellite resources. However, as the number of users increases and service quality demands become more diverse, with prominent temporal and spatial distribution imbalances, the need for flexible and efficient resource allocation systems has become more challenging. This paper addresses the new issues faced in resource allocation in satellite communications, utilizing the widely discussed deep reinforcement learning technology. Neural networks are used to explore spatiotemporal correlations in channel allocation, and multi-agent techniques are employed to address joint channel and beam allocation in the beam-hopping problem.
|
||||||
|
|
||||||
Firstly, the paper introduces the basic architecture of multi-beam satellite communication systems, the channel transmission characteristics of satellites, as well as Markov decision processes and reinforcement learning techniques. It establishes the basic scenarios and user communication models for the channel allocation problem based on deep reinforcement learning. To ensure the quality of user communication, the blocking rate of user communication is used as the optimization target, and a dynamic channel allocation algorithm based on deep reinforcement learning is designed. This algorithm uses the geographic location of users described through state transitions using multi-channel images, and real-time channel allocation strategies are obtained through convolutional neural networks and deep Q-networks. Simulation results show that the channel allocation algorithm based on deep reinforcement learning can effectively ensure system connectivity and improve spectral efficiency compared to other algorithms.
|
% Firstly, the paper introduces the basic architecture of multi-beam satellite communication systems, the channel transmission characteristics of satellites, as well as Markov decision processes and reinforcement learning techniques. It establishes the basic scenarios and user communication models for the channel allocation problem based on deep reinforcement learning. To ensure the quality of user communication, the blocking rate of user communication is used as the optimization target, and a dynamic channel allocation algorithm based on deep reinforcement learning is designed. This algorithm uses the geographic location of users described through state transitions using multi-channel images, and real-time channel allocation strategies are obtained through convolutional neural networks and deep Q-networks. Simulation results show that the channel allocation algorithm based on deep reinforcement learning can effectively ensure system connectivity and improve spectral efficiency compared to other algorithms.
|
||||||
|
|
||||||
Furthermore, for channel allocation in beam-hopping applications, the optimization of communication throughput and delay fairness is used as the objective function. A joint allocation algorithm of beam-hopping and channels based on deep reinforcement learning is established. This algorithm includes two independent deep Q-networks that optimize the beam-lighting scheme and channel allocation method, respectively. It employs a multi-head output method to address the high spatial complexity in beam-hopping allocation. Simulation results indicate that compared to traditional algorithms, this method can effectively increase system throughput, ensure delay fairness, and significantly reduce decision-making time compared to heuristic algorithms like genetic algorithms, making it capable of handling dynamically changing communication environments.
|
% Furthermore, for channel allocation in beam-hopping applications, the optimization of communication throughput and delay fairness is used as the objective function. A joint allocation algorithm of beam-hopping and channels based on deep reinforcement learning is established. This algorithm includes two independent deep Q-networks that optimize the beam-lighting scheme and channel allocation method, respectively. It employs a multi-head output method to address the high spatial complexity in beam-hopping allocation. Simulation results indicate that compared to traditional algorithms, this method can effectively increase system throughput, ensure delay fairness, and significantly reduce decision-making time compared to heuristic algorithms like genetic algorithms, making it capable of handling dynamically changing communication environments.
|
||||||
|
|
||||||
|
In recent years, with the rapid development of satellite internet and direct-to-mobile satellite communications, international standard organizations such as 3GPP and ITU have incorporated satellite communications as an essential component of the sixth generation of wireless communications. Satellite communications are entering a new phase of rapid development. There will be a deeper integration and application of satellite communications, and the satellite communications industry, along with the number of users, will experience rapid growth. Traditional frequency reuse and multi-beam technologies have effectively improved the efficiency of satellite resource utilization. However, with the increase in the number of users and the diversification of service quality demands, the uneven distribution of services in time and space has become more prominent. This poses higher challenges for the system to allocate resources flexibly and efficiently. This paper addresses the new challenges in resource allocation in satellite communications, combining the widely focused deep reinforcement learning technology. It uses neural networks to explore spatio-temporal correlations in channel allocation problems and employs multi-agent technologies to solve the joint allocation of channels and beam illumination in hop-beam problems.
|
||||||
|
|
||||||
|
This paper first introduces the basic architecture of multi-beam satellite communication systems, the channel transmission characteristics of satellites, and technologies such as the Markov decision process and reinforcement learning. It establishes the basic scenario and user communication model for the channel allocation problem based on deep reinforcement learning. To ensure the quality of user communications, the user communication blockage rate is used as the optimization target. A dynamic channel allocation algorithm based on deep reinforcement learning is designed. This algorithm uses state transitions to describe the user's geographic location as a multi-channel image and solves it based on convolutional neural networks and deep Q-networks to obtain real-time channel allocation strategies. Simulation results show that the channel allocation algorithm based on deep reinforcement learning can effectively ensure the system's connectivity rate and improve spectral efficiency compared to other algorithms.
|
||||||
|
|
||||||
|
Further, for channel allocation under hop-beam applications, with the optimization of communication throughput and the fairness of delay as the optimization objective function, a hop-beam and channel joint allocation algorithm based on deep reinforcement learning is established. This algorithm contains two independent deep Q-networks, which optimize the beam illumination scheme and channel allocation method, respectively. It uses a multi-head output method to solve the problem of high spatial complexity in hop-beam allocation. Simulation results show that compared to traditional algorithms, this method can effectively improve the system's throughput and ensure the system's delay fairness. Compared to heuristic algorithms like genetic algorithms, it can significantly reduce the system's decision-making time and cope with dynamically changing communication environments.
|
||||||
\ifblind\end{beabstract}\else\end{eabstract}\fi
|
\ifblind\end{beabstract}\else\end{eabstract}\fi
|
||||||
|
|
||||||
% vim:ts=4:sw=4
|
% vim:ts=4:sw=4
|
||||||
|
|||||||
+20
-20
@@ -7,19 +7,18 @@
|
|||||||
\section{研究背景}
|
\section{研究背景}
|
||||||
卫星通信系统是一种使用卫星作为中继的通信系统，自美国发射第一颗商用卫星后，卫星通信取得了巨大的成就，彻底改变了人类的生产和生活方式。卫星通信的发展突破了传统的移动通话与短信等业务，呈现出两大发展趋势：空天地多终端一体化网络与巨型卫星星座。
|
卫星通信系统是一种使用卫星作为中继的通信系统，自美国发射第一颗商用卫星后，卫星通信取得了巨大的成就，彻底改变了人类的生产和生活方式。卫星通信的发展突破了传统的移动通话与短信等业务，呈现出两大发展趋势：空天地多终端一体化网络与巨型卫星星座。
|
||||||
|
|
||||||
第5代移动通信系统（5th gerneration mobile networks, 5G）是继4G（LTE、LTE-A、WiMAX
|
第5代移动通信系统（5th generation mobile networks, 5G）是继4G（LTE、LTE-A、WiMAX
|
||||||
-A）系统后提出的最新一代移动通信系统，其标准化阶段已经基本完成，目标是提供高速率、低延时、低成本、大容量以及海量连接设备的端到端通信解决方案。5G的大规模商用化正在有序的推进，能够为用户提供高质量的通信服务。但是，受限于不同国家的基建情况、地理环境状况以及经济发展水平差异，截止到2023年末，仍有大量的地区无法接入5G网络甚至接入互联网，世界上仍有34亿人口没有接入移动互联网，而这其中，有90\%的人口已经处于移动网络覆盖的范围内，但这些网络却无法接入移动互联网\supercite{GSMA-2024}。与此同时，以虚拟现实（Virtual Reality，VR）和增强现实（Advanced Reality，AR）为主的现实扩展服务、物联网、脑机接口等新兴的服务产生的数据需求已经远远地超过了当前5G网络所能支持的范围。而在这一背景下，卫星通信系统具有以下特点：
|
-A）系统后提出的最新一代移动通信系统，其标准化阶段已经基本完成，目标是提供高速率、低延时、低成本、大容量以及海量连接设备的端到端通信解决方案。5G的大规模商用化正在有序的推进，能够为用户提供高质量的通信服务。但是，受限于不同国家的基建情况、地理环境状况以及经济发展水平差异，截止到2023年末，仍有大量的地区无法接入5G网络甚至接入互联网，世界上仍有34亿人口没有接入移动互联网，而这其中，有90\%的人口已经处于移动网络覆盖的范围内，但这些网络却无法接入移动互联网\supercite{GSMA-2024}。与此同时，以虚拟现实（Virtual Reality，VR）和增强现实（Advanced Reality，AR）为主的现实扩展服务、物联网、脑机接口等新兴的服务产生的数据需求已经远远地超过了当前5G网络所能支持的范围。卫星通信系统具有以下特点：
|
||||||
\begin{itemize}
|
\begin{itemize}
|
||||||
\item 覆盖范围广，受地形影响小。通过卫星的中继，可以覆盖到全球所有地域的用户，包括一些人迹罕至、缺乏地面基础设施建设条件的区域。
|
\item 覆盖范围广，受地形影响小。通过卫星的中继，可以覆盖到全球所有地域的用户，包括一些人迹罕至、缺乏地面基础设施建设条件的区域。
|
||||||
\item 组网灵活。卫星通信系统具有高度的灵活性与可调整性，卫星组网可以根据特定的应用需求和环境的变化进行配置的优化，实现多种运营模式。
|
\item 组网灵活。卫星通信系统具有高度的灵活性与可调整性，卫星组网可以根据特定的应用需求和环境的变化进行配置的优化，实现多种运营模式。
|
||||||
\item 较低的延迟与成本。
|
|
||||||
\end{itemize}
|
\end{itemize}
|
||||||
这些特征使得卫星通信系统成为地面移动通信系统的有力补充和扩展\supercite{bai2018multi}。在5G通信网络大规模部署的背景之下，第六代移动通信系统（6th gerneration mobile networks，6G）将视野更多地转向了卫星通信系统这一蓝海。传统的天基卫星通信系统与地面蜂窝网络系统长期独立发展，系统之间存在较大的互通成本与差异。各国的相关研究机构与商业组织都曾经探索过多种形式和多种方式的手机与卫星的天地网络一体化方式\supercite{laursen2023no}，但直到2022年，苹果公司推出了能够直接使用卫星通信服务的iPhone14系列手机设备，地面移动蜂窝通信系统与天基卫星通信系统的一体化进程才取得实际上的进展。但是苹果公司使用的GLobalStar公司提供的卫星通信系统只支持紧急状态下的双向通信，不支持语音通信。2023年下半年，随着华为公司的Mate 60Pro系列的问世，我国成功
|
这使得卫星通信系统成为地面移动通信系统的有力补充和扩展\supercite{bai2018multi}。在5G通信网络大规模部署的背景之下，第六代移动通信系统（6th generation mobile networks，6G）将视野更多地转向了卫星通信系统这一领域。传统的天基卫星通信系统与地面蜂窝网络系统长期独立发展，系统之间存在较大的互通成本与差异。各国的相关研究机构与商业组织都曾经探索过多种形式和多种方式的手机与卫星的天地网络一体化方式\supercite{laursen2023no}，但直到2022年，苹果公司推出了能够直接使用卫星通信服务的iPhone14系列手机设备，地面移动蜂窝通信系统与天基卫星通信系统的一体化进程才取得实际上的进展。但是苹果公司使用的GlobalStar公司提供的卫星通信系统只支持紧急状态下的双向通信，不支持语音通信。2023年下半年，随着华为公司的Mate60 Pro系列的问世，我国成功
|
||||||
生产出全球首款同时支持卫星电话、短信与地面移动通信的大众消费级智能手机终端产品，这些都证明了手机直连卫星技术与市场的的可行性。
|
生产出全球首款同时支持卫星电话、短信与地面移动通信的大众消费级智能手机终端产品，这些都证明了手机直连卫星技术与市场的可行性。
|
||||||
|
|
||||||
卫星作为卫星通信的中继，根据与地球的距离和轨道的高低可以划分为同步轨道卫星、中轨道卫星以及地轨道卫星三种\supercite{wxtxxt}。近些年来，相较于中轨和高轨的卫星通信系统，低轨卫星通信系统由于具有延时更小、更高的速率和终端更加轻量化与小型化的特点，逐渐成为了全球各国在卫星通信互联网与6G通信领域争夺的主要焦点（表\ref{tab:leos}）。以2016年11月15日美国SpaceX公司宣布StarLink计划的开展为标志\supercite{mcdowell2020low}，以大规模低轨卫星星座为主要载体的卫星通信互联网如雨后春笋般迅速发展起来。
|
人造卫星作为卫星通信的中继，根据与地球的距离和轨道的高低可以划分为同步轨道卫星、中轨道卫星以及低轨道卫星三种\supercite{wxtxxt}。近些年来，相较于中轨和高轨的卫星通信系统，低轨卫星通信系统由于具有延时更小、更速率更高和终端更加轻量化与小型化的特点，逐渐成为了全球各国在卫星通信互联网与6G通信领域争夺的主要焦点（表\ref{tab:leos}）。以2016年11月15日美国SpaceX公司宣布StarLink计划的开展为标志\supercite{mcdowell2020low}，以大规模低轨卫星星座为主要载体的卫星通信互联网如雨后春笋般迅速发展起来。
|
||||||
|
|
||||||
随着全球各国争夺卫星频段与轨道的竞争愈发激烈，我国也在加速低轨卫星互联网的建设布局。我国的星座建设在自2021年中国星网组建以来逐步走向了由国家统一协调、统筹频段与轨道的资源分配规划，充分发挥了我国集中力量办大事制度优越性。
|
随着全球各国争夺卫星频段与轨道的竞争愈发激烈，我国也在加速低轨卫星互联网的建设布局。我国的巨型星座建设自2021年中国星网组建后逐步走向了由国家统一协调、统筹规划的发展道路，充分发挥了我国集中力量办大事制度优越性。
|
||||||
|
|
||||||
\begin{table}[hbpt]
|
\begin{table}[hbpt]
|
||||||
\caption{部分卫星互联网星座计划}
|
\caption{部分卫星互联网星座计划}
|
||||||
@@ -40,14 +39,15 @@
|
|||||||
\end{tabular}
|
\end{tabular}
|
||||||
\end{table}
|
\end{table}
|
||||||
|
|
||||||
尽管卫星通信网络的不受地形限制，并且具有较低的成本和广阔的地域覆盖能力，但是考虑到卫星通信的较长的链路距离、较大的传播时延以及星上资源的有限性等问题，当前的卫星通信仍有很大的问题亟待解决。现有的卫星通信系统为了兼顾广阔的覆盖范围与较高的卫星天线增益，通常采用多波束卫星的技术。多波束卫星系统的通过频率复用的形式提高系统的带宽容量，提升频谱的利用率\supercite{jia2018interbeam}。但多波束卫星的使用与频率复用的机制带来了波束之间的同频干扰（Co-Channel Interference\supercite{yang2003co}，CCI）等影响。在这样的背景下，以如何有效的针对用户需求进行星上资源的分配与调控，为用户实现即时可靠的数据通信服务具有重要的理论意义与现实意义。传统的卫星通信系统在考虑同频干扰情况下，资源分配是一个NP-Hard（non-deterministic polynomial-time hardness，非确定性多项式时间困难\supercite{garey1974some}）问题\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}，这表明解决卫星资源分配问题难以在一个限定的多项式时间内稳定找到最优解，解决这一问题的时间消耗较大，寻找到某种较低复杂度的算法实现星上资源分配的优化是一个亟待解决的问题。
|
尽管卫星通信网络的不受地形限制，并且具有较低的成本和广阔的地域覆盖能力，但是考虑到卫星通信的较长的链路距离、较大的传播时延以及星上资源的有限性等问题，当前的卫星通信仍有多的问题亟待解决。现有卫星通信系统为了兼顾广阔的覆盖范围与较高的卫星天线增益，通常采用多波束技术。多波束卫星系统的通过频率复用的形式提高系统的带宽容量，提升频谱的利用率\supercite{jia2018interbeam}。但多波束卫星的使用与频率复用的机制带来了波束之间的同频干扰（Co-Channel Interference\supercite{yang2003co}，CCI）等影响。在这样的背景下，以如何有效地针对用户需求进行星上资源的分配与调控，为用户实现即时可靠的数据通信服务具有重要的理论意义与现实意义。卫星通信系统的资源分配问题在考虑同频干扰情况时是一个NP-Hard（non-deterministic polynomial-time hardness，非确定性多项式时间困难\supercite{garey1974some}）问题\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}，这表明卫星资源分配问题难以在限定的多项式时间内稳定找到最优解，解决这一问题的时间复杂度高，寻找到某种较低复杂度的算法实现星上资源分配的优化是一个重要的课题。
|
||||||
|
|
||||||
% 近年来，伴随着AlphaGo、ChatGPT等人工智能应用的出现，为解决这一问题提供了一条可行的路线。人工智能技术通过利用计算机技术的形式模拟人类的某些智能行为和过程，例如学习、推理等。随着强化学习技术在以ChatGPT为代表的生成式人工智能大模型中被广泛应用，掀起了新一代人工智能技术的新浪潮。强化学习（Reinforcement Learing, RL）是机器学习中除了监督学习和非监督学习之外的另一种基本机器学习方式，强化学习不需要预先做好标签的输入与输出对，其主要关注在对未知知识的探索和利用已有知识的平衡，是一种探索-学习-重复探索的过程，具有通过自我学习环境与过往经验提高处理问题能力的特点，在视频游戏、机器人控制、预测决策等领域有着广泛应用。
|
% 近年来，伴随着AlphaGo、ChatGPT等人工智能应用的出现，为解决这一问题提供了一条可行的路线。人工智能技术通过利用计算机技术的形式模拟人类的某些智能行为和过程，例如学习、推理等。随着强化学习技术在以ChatGPT为代表的生成式人工智能大模型中被广泛应用，掀起了新一代人工智能技术的新浪潮。强化学习（Reinforcement Learing, RL）是机器学习中除了监督学习和非监督学习之外的另一种基本机器学习方式，强化学习不需要预先做好标签的输入与输出对，其主要关注在对未知知识的探索和利用已有知识的平衡，是一种探索-学习-重复探索的过程，具有通过自我学习环境与过往经验提高处理问题能力的特点，在视频游戏、机器人控制、预测决策等领域有着广泛应用。
|
||||||
|
|
||||||
近年来，随着人工智能应用如AlphaGo、ChatGPT等的出现，为解决诸多问题提供了新的思路和方法。人工智能技术通过模拟人类的智能行为和过程，如学习、推理等，利用计算机技术的手段实现了以前难以想象的任务。特别是强化学习技术在生成式人工智能大模型中的广泛应用，如ChatGPT等，引领了新一轮人工智能技术的发展浪潮。
|
近年来，人工智能应用如雨后春笋般涌现，这背后是人工智能技术的突破性发展，人工智能技术为解决诸多问题提供了新的思路和方法。人工智能技术通过模拟人类的学习、推理等智能行为和过程，利用计算机技术解决了众多复杂的实际问题。
|
||||||
|
以强化学习技术为核心的生成式人工智能大模型的迅速发展，如ChatGPT等，引领了新一轮人工智能技术的发展浪潮。
|
||||||
|
|
||||||
强化学习（Reinforcement Learning, RL）\supercite{russell2016artificial}作为机器学习的一种基本方式，与监督学习和非监督学习相辅相成。与监督学习不同，强化学习不需要预先提供标记好的输入输出对，而是专注于在未知知识的探索和已有知识的利用之间寻找平衡。它是一种不断探索、学习和重复实践的过程，能够与环境互动形成历史经验，进而从中学习到环境的消息与知识，提高处理环境中问题的能力。
|
强化学习（Reinforcement Learning, RL）\supercite{russell2016artificial}作为机器学习的一种基本方式，与监督学习和非监督学习相辅相成。与监督学习不同，强化学习不需要预先提供标记好的输入输出数据，而是聚焦在未知知识探索和已有知识利用。它是一种不断探索、学习和重复实践的过程，能够在与环境互动中形成历史经验，从中学习到环境的信息与知识，提高处理环境中具体问题的能力。
|
||||||
正因如此，强化学习方法在复杂环境中的决策问题研究中取得广泛应用，例如视频游戏AI、机器人控制、棋牌类问题博弈等。
|
正因如此，强化学习方法在复杂环境中的决策问题研究中取得广泛应用，例如视频游戏AI、机器人控制、棋牌类博弈等。
|
||||||
% 因此，在视频游戏、机器人控制、预测决策等领域得到了广泛应用。
|
% 因此，在视频游戏、机器人控制、预测决策等领域得到了广泛应用。
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
@@ -57,9 +57,9 @@
|
|||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
|
|
||||||
强化学习的技术源于行为主义心理学理论（Behaviorism Theory）中的试错学习\supercite{张汝波2000强化学习理论}，同时与控制领域中的最优控制理论、近似动态规划（Approximate Dynamic Programming，ADP）等合流形成\supercite{kaelbling1996reinforcement}\supercite{russell2016artificial}\supercite{sutton2018reinforcement}。试错学习的思想就是动物或其他智能体通过反复的过程完成学习，动物出于某种动机采取一定的行动，在采取行动后能够得到某种刺激，刺激与实现动机的行动之间产生映射关系，正面的刺激会强化采取该行为的期望，而负面的刺激会削弱采取行为的期望，为了实现动机就会重复采取行动从而实现最终的目标\supercite{morales2012introduction}。强化学习的基本思想就是模拟生物的这种为了适应环境而进行进化的过程\supercite{周碧莹2019基于强化学习的卫星网络资源调度机制}，自主地学会如何在环境中采取行动，以获得最大的奖励。
|
强化学习的思想源于行为主义心理学理论（Behaviorism Theory），从试错学习\supercite{张汝波2000强化学习理论}的概念发展而来，在发展过程中与控制领域中的最优控制理论（Optimal Control Theory）、近似动态规划（Approximate Dynamic Programming，ADP）等结合并逐渐完善\supercite{kaelbling1996reinforcement}\supercite{russell2016artificial}\supercite{sutton2018reinforcement}。试错学习的思想就是动物或其他物体通过反复的实践完成学习，动物出于某种动机采取一定的行动，之后得到某种刺激，刺激与行动之间产生一定的映射关系，正面的刺激会强化采取该行为的期望，而负面的刺激会削弱采取行为的期望，为了不断得到正面刺激就会重复采取行动从而实现最终的目标\supercite{morales2012introduction}。强化学习的基本思想就是模拟生物的这种为了适应环境而进行进化的过程\supercite{周碧莹2019基于强化学习的卫星网络资源调度机制}，自主地学会如何在环境中采取行动，以获得最大的奖励。
|
||||||
|
|
||||||
相较于无监督学习和有监督学习，强化学习的方法更加灵活。在无监督学习和有监督学习中，解决问题需要明确定义问题和解决问题的模式\supercite{russell2016artificial}。而在强化学习中，更多地关注确定可以采取的行动，而不需要明确规定如何执行这些行动。通过不断地尝试和错误，强化学习系统可以自主学习并逐步优化其行动策略，最终达到最优解。
|
相较于无监督学习和有监督学习，强化学习的方法更加灵活。在无监督学习和有监督学习中，解决问题需要明确定义问题和解决问题的模式\supercite{russell2016artificial}，即建立在特定模型的基础之上。而在强化学习中，仅需要明确可以采取的行动，而不需要规定如何执行这些行动。通过不断地尝试并发现错误，强化学习系统可以自主学习并逐步优化其行动策略，最终达到最优解。
|
||||||
|
|
||||||
强化学习在优化决策、解决问题等方面具有广泛的应用，例如棋牌对弈、机器人模拟等。值得注意的是，强化学习与卫星通信系统的星上资源分配问题具有一定的相似性。在卫星通信系统中，卫星根据不同的业务申请需求、流量需求、资源分配情况，为每个用户提供相应的资源分配。分配完成后，根据资源分配的结果得到相应的反馈信息，优化全局的决策策略。在这样的环境下，强化学习可以被视为一种有效的方法，通过不断地学习和调整，来实现资源分配的最优化。
|
强化学习在优化决策、解决问题等方面具有广泛的应用，例如棋牌对弈、机器人模拟等。值得注意的是，强化学习与卫星通信系统的星上资源分配问题具有一定的相似性。在卫星通信系统中，卫星根据不同的业务申请需求、流量需求、资源分配情况，为每个用户提供相应的资源分配。分配完成后，根据资源分配的结果得到相应的反馈信息，优化全局的决策策略。在这样的环境下，强化学习可以被视为一种有效的方法，通过不断地学习和调整，来实现资源分配的最优化。
|
||||||
|
|
||||||
@@ -72,13 +72,13 @@
|
|||||||
|
|
||||||
% 相比于传统固定分配算法，
|
% 相比于传统固定分配算法，
|
||||||
|
|
||||||
注重频谱和能量效率的资源分配策略一直是卫星通信系统以及地面卫星通信系统的主要研究方向，在无线通信系统中能量效率和频谱效率被视为一个多目标优化问题\supercite{7093179}。在地面通信系统中，关于多输入多输出通信系统（Multi-Input Multi-Output, MIMO）\supercite{tse2005fundamentals}中关于能量效率和频谱效率的优化关系已经有了比较全面讨论与诠释\supercite{heliot2012energy}，\supercite{xiong2011energy}对采用了正交频分复用多址（Orthogonal frequency division multiple access, OFDMA）\supercite{tse2005fundamentals}的无线通信系统两者之间的权衡进行了讨论。在卫星通信系统中，这一方面的研究更为重要，围绕着有限的功率、频谱、缓存等资源，有多种动态资源优化算法提出。
|
注重频谱和能量效率的资源分配策略一直是卫星通信系统以及地面卫星通信系统的主要研究方向，在无线通信系统中能量效率和频谱效率被视为一个多目标优化问题\supercite{7093179}。在地面通信系统中，关于多输入多输出通信系统\supercite{tse2005fundamentals}（Multi-Input Multi-Output, MIMO）中能量效率和频谱效率的优化关系已经有了比较全面讨论与诠释\supercite{heliot2012energy}，\parencite{xiong2011energy}对采用了正交频分复用多址\supercite{tse2005fundamentals}（Orthogonal frequency division multiple access, OFDMA）的无线通信系统能量效率和频谱效率之间的关系进行了详细讨论。在卫星通信系统中，围绕着有限的功率、频谱、缓存等资源分配的研究更为重要，有多种动态资源优化算法提出。
|
||||||
|
|
||||||
在不考虑共频干扰时使用拉格朗日乘数法可以很好地实现基于的波束上流量需求进行动态功率的分配算法\supercite{choi2005optimum}。考虑CCI之后，解决资源分配优化问题经常使用的例如拉格朗日对偶法等求解困难，\supercite{wang2014optimization}尝试在使用拉格朗日对偶法解决引入CCI的多波束卫星系统功率分配问题，求解效率低下，而且随着波束数目的增加，无法获得确切的求解表达式。随后，为了降低算法复杂度，遗传算法（Genetic Algorithm, GA）\supercite{booker1989classifier}、模拟退火算法（Simulated Annealing, SA）\supercite{陈华根2004模拟退火算法机理研究}等启发式搜索算法被应用到多波束卫星系统的功率分配中。这些算法一定程度上实现了最大化系统容量和最小化系统功率之间的权衡。
|
在不考虑同频干扰时，使用拉格朗日乘数法，可以根据波束上流量需求的变化进行动态的功率分配\supercite{choi2005optimum}。考虑同频干扰之后，常规的凸优化算法，例如拉格朗日法等方法求解困难，\parencite{wang2014optimization}尝试使用拉格朗日对偶法解决引入CCI的多波束卫星系统功率分配问题，但是求解效率低下，且随着波束数目的增加，无法获得确定的结果表达式。为了降低算法复杂度，遗传算法（Genetic Algorithm, GA）\supercite{booker1989classifier}、模拟退火算法（Simulated Annealing, SA）\supercite{陈华根2004模拟退火算法机理研究}等启发式搜索算法被应用到多波束卫星系统的资源分配中。这些算法一定程度上实现了最大化系统容量和最小化系统功率之间的权衡\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。
|
||||||
|
|
||||||
卫星的载荷资源主要是分配星上的发射功率资源以及的分配频率资源，而频率资源分配又可以进一步细分为时分复用的时隙分配和频分复用的信道资源分配。多波束卫星系统中最传统的资源分配算法是固定资源分配，各个波束和小区得到的资源分配是较为固定的，通过四色复用、七色复用等形式，实现波束之间的固定信道分配，但是随着低轨卫星系统的发展，多波束系统的波束覆盖随着时间的变化会有较大的流量波动，不同波束之间流量需求差异大、变化快，固定信道分配方式无法适应当前卫星通信发展的新趋势。动态信道分配技术能够允许系统的各个波束任意、灵活地选择系统的可用信道，通过改变载波等的分配，灵活匹配了来自各个小区的通信需求，提高整个系统的性能\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。基于特定设计的两个代价函数，文献\supercite{del1995efficient}提出了一种动态信道分配算法，这一算法相比固定信道分配算法有效提高了系统的接通率，但是存在着业务场景缺少动态变化并且算法的计算复杂度仍然较高的问题，与当前快速发展的大规模低轨卫星星座系统不适应。随着系统波束数目的增加，传统的动态信道分配算法也陷入了算法复杂度高的问题，为了应对这些挑战，\supercite{umehira2012centralized}提出了复杂度较低的算法方法，这些都在追求系统频谱效率与用户公平性的统一。
|
卫星的载荷资源分配主要是对发射功率资源和频率资源的分配，而频率资源分配又可以进一步细分为时分复用的时隙分配和频分复用的信道资源分配。多波束卫星系统中最传统的资源分配算法是固定资源分配，各个波束和小区得到的资源分配是较为固定的，通过四色复用、七色复用等形式，实现波束之间的固定信道分配，但是随着低轨卫星系统的发展，多波束系统的波束覆盖随着时间的变化会有较大的流量波动，不同波束之间流量需求差异大、变化快，固定信道分配方式无法适应当前卫星通信发展的新趋势。动态信道分配技术能够允许系统的各个波束任意、灵活地选择系统的可用信道，通过改变载波等的分配，灵活匹配了来自各个小区的通信需求，提高整个系统的性能\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。文献\supercite{del1995efficient}基于特定设计的两个代价函数提出了一种动态信道分配算法，这一算法相比固定信道分配算法有效提高了系统的接通率，但是该研究中业务场景仍然缺少动态变化并且算法的计算复杂度仍然较高，与当前快速发展的大规模低轨卫星星座系统不适应。随着系统波束数目的增加，传统的动态信道分配算法也陷入了算法复杂度高的问题，为了应对这些挑战，\parencite{umehira2012centralized}提出了复杂度较低的算法，这一方法希望追求系统频谱效率与用户公平性的统一。
|
||||||
|
|
||||||
近些年来，“跳波束（动态波束跳跃，Dynamic Beam Hopping）”技术也是动态资源分配的热门研究领域。通过时分复用的思想，将系统的时间划分为多个不同时隙，每个时隙都有一部分小区被点亮提供数据传输服务，跳波束的本质是根据时变的流量需求在地理空间分布上的变化动态地调整服务的区域，传统的方法存在两点不足之处\supercite{唐斯琪2023深度强化学习在天基信息网络中的应用}：解空间会随着波束数量的上升以阶乘的方式的增长；流量需求分布发生变化时，需要重新建模迭代求解。文献\supercite{liu2013max}提出了流量最大最小速率控制调度法，但该问题只能实现单目标的优化无法保证不同波束之间的业务公平性。文献\supercite{han2015qos}使用长期时延统计的方法进行波束调度，能够在满足吞吐量的同时兼顾部分公平性问题。文献\supercite{angeletti2006beam}提出了使用遗传算法指定波束调度计划的方式，但是每次决策都需要重新迭代，在流量空间分布迅速变化时，性能迅速下降。
|
近些年来，“跳波束（动态波束跳跃，Dynamic Beam Hopping）”技术也是动态资源分配的热门研究领域。通过时分复用的思想，将系统的时间划分为多个不同时隙，每个时隙都有一部分小区被点亮提供数据传输服务，通过少量的波束实现大规模区域的覆盖。跳波束的本质是根据时变的流量需求在地理空间分布上的变化动态地调整服务的区域，传统的跳波束方法存在两点不足之处\supercite{唐斯琪2023深度强化学习在天基信息网络中的应用}：解空间会随着波束数量的上升以阶乘的方式增长；流量需求分布发生变化时，需要重新建模迭代求解。文献\supercite{liu2013max}提出了流量最大最小速率控制调度法，但该问题只能实现单目标的优化，在保证了吞吐量需求时确无法保证不同波束之间的业务公平性。文献\supercite{han2015qos}使用长期时延统计的方法进行波束调度，能够在满足吞吐量的同时兼顾部分公平性问题。文献\supercite{angeletti2006beam}提出了使用遗传算法指定波束调度计划的方式，但是每次决策都需要重新迭代，在流量空间分布迅速变化时，性能迅速下降。
|
||||||
|
|
||||||
|
|
||||||
人工智能技术的发展引起了大家的广泛关注，人工智能和机器学习等已经在多个不同的研究领域内被证明是解决复杂问题的有效方法。脱胎于强化学习方法的深度强化学习（Deep Reinforcement Learning，DRL）在解决通信系统资源分配问题上已经获得理论与实践上的支持，例如无线蜂窝通信系统的资源分配\supercite{xiong2019deep}等。基于DRL方法的卫星系统资源优化算法也有了一定的研究，这种线下训练、线上部署运行的无模型方法在许多问题上证明了其有效性。表\ref{tab:drlresearch}给出了目前的研究中将卫星通信与深度强化学习相结合的部分研究领域。文献\parencite{liu2018deep}提出了将DRL技术应用到卫星资源分配领域的基本框架，通过将地面用户的业务需求转换为多维张量的形式建立起同步轨道卫星多波束卫星资源分配基本思路。文献\parencite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}使用多目标优化的方式进行信道的分配以实现功率和用户满意度的多目标优化，文献\parencite{luis2019deep}提出了使用连续的状态空间与动作空间的DRL学习架构避免了需求的离散化。现有使用DRL进行动态资源管理的方法多聚焦于同步轨道卫星资源的动态分配，在此假设下卫星面对的环境相对变化不大。在跳波束问题上，文献\parencite{hu2020dynamic}提出了使用DRL解决跳波束决策的问题，为了解决算法空间维度较高的问题，文章给出了双环多步骤决策方法，但是该方法由于增加了多重决策步骤，实时决策时间表现差。\parencite{lin2022dynamic}使用了多智能体独立决策、限制信道分配的方式简化了动作空间，提高了决策效率，但是多智能体会占用更多的资源进行决策，也使得分配结果易陷入局部最优解的状况。
|
人工智能技术的发展引起了大家的广泛关注，人工智能和机器学习等已经在多个不同的研究领域内被证明是解决复杂问题的有效方法。脱胎于强化学习方法的深度强化学习（Deep Reinforcement Learning，DRL）在解决通信系统资源分配问题上已经获得理论与实践上的支持，例如无线蜂窝通信系统的资源分配\supercite{xiong2019deep}等。基于DRL方法的卫星系统资源优化算法也有了一定的研究，这种线下训练、线上部署运行的无模型方法在许多问题上证明了其有效性。表\ref{tab:drlresearch}给出了目前的研究中将卫星通信与深度强化学习相结合的部分研究领域。文献\parencite{liu2018deep}提出了将DRL技术应用到卫星资源分配领域的基本框架，通过将地面用户的业务需求转换为多维张量的形式建立起同步轨道卫星多波束卫星资源分配基本思路。文献\parencite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}使用多目标优化的方式进行信道的分配以实现功率和用户满意度的多目标优化，文献\parencite{luis2019deep}提出了使用连续的状态空间与动作空间的DRL学习架构避免了需求的离散化。现有使用DRL进行动态资源管理的方法多聚焦于同步轨道卫星资源的动态分配，在此假设下卫星面对的环境相对变化不大。在跳波束问题上，文献\parencite{hu2020dynamic}提出了使用DRL解决跳波束决策的问题，为了解决算法空间维度较高的问题，文章给出了双环多步骤决策方法，但是该方法由于增加了多重决策步骤，实时决策时间表现差。\parencite{lin2022dynamic}使用了多智能体独立决策、限制信道分配的方式简化了动作空间，提高了决策效率，但是多智能体会占用更多的资源进行决策，也使得分配结果易陷入局部最优解的状况。
|
||||||
@@ -115,9 +115,9 @@
|
|||||||
\subsection{主要研究内容}
|
\subsection{主要研究内容}
|
||||||
本文结合新一代卫星系统的背景，主要分析和研究了地星通信系统中动态资源管理问题，从可行性、所面临的挑战等方面出发，借助相关理论和一定的工具建立了相关的模型。
|
本文结合新一代卫星系统的背景，主要分析和研究了地星通信系统中动态资源管理问题，从可行性、所面临的挑战等方面出发，借助相关理论和一定的工具建立了相关的模型。
|
||||||
|
|
||||||
针对低轨卫星资源受限问题，提出了一种基于的深度Q网络的算法，该算法基于强化学习的框架，结合了深度学习与强化学习优势，建立起优化模型，以系统的阻塞率作为优化目标，为了用户分配信道。
|
针对低轨卫星资源受限问题，给出了一种基于深度Q网络的算法，该算法基于强化学习的框架，结合了深度学习与强化学习优势，建立起优化模型，以系统的阻塞率和频谱效率作为优化目标，为用户分配信道。
|
||||||
|
|
||||||
针对卫星跳波束问题，提出了一种基于多智能体深度Q网络的算法，基于强化学习框架，结合多智能体与单智能体强化学习的优势，在算法复杂度和效果之间取得了平衡。
|
针对卫星跳波束问题，给出了一种基于多智能体深度Q网络的算法，基于强化学习框架，结合多智能体与单智能体强化学习的优势，在算法复杂度和效果之间取得了平衡。
|
||||||
\subsection{论文组织架构}
|
\subsection{论文组织架构}
|
||||||
本文分为五个章节，各章安排如下：
|
本文分为五个章节，各章安排如下：
|
||||||
|
|
||||||
@@ -127,7 +127,7 @@
|
|||||||
|
|
||||||
第二章为多波束卫星系统以及强化学习技术的相关介绍。首先是介绍了卫星通信系统的架构、多波束天线的模型、卫星的链路损耗与空间传输模型、波束间频率复用技术，为之后的系统模型建立理论基础。其次，本章介绍了序列决策和强化学习的基本原理、概念和特征，对本文中使用的强化学习方法进具体的介绍和分析。
|
第二章为多波束卫星系统以及强化学习技术的相关介绍。首先是介绍了卫星通信系统的架构、多波束天线的模型、卫星的链路损耗与空间传输模型、波束间频率复用技术，为之后的系统模型建立理论基础。其次，本章介绍了序列决策和强化学习的基本原理、概念和特征，对本文中使用的强化学习方法进具体的介绍和分析。
|
||||||
|
|
||||||
第三章是基于深度强化学习的低轨卫星信道分配算法。首先主要介绍了本文所提出的算法的基本应用场景，并对用户的业务需求场景、卫星的信道分配问题进行了详细的介绍和分析建模。以此为基础，详细介绍了提出的算法实现细节，包括算法的状态空间、动作空间、奖励函数等机制。
|
第三章是基于深度强化学习的低轨卫星信道分配算法。首先是介绍算法的基本应用场景，并对用户的业务需求场景、卫星的信道分配问题进行了详细的介绍和分析建模。以此为基础，详细介绍了给出的算法实现细节，包括算法的状态空间、动作空间、奖励函数等机制。
|
||||||
|
|
||||||
第四章是基于深度强化学习的跳波束与信道联合分配算法。首先介绍了跳波束技术的基本原理，给出了算法的适应场景，详细设计细节与仿真环境，最后给出了仿真实验结果分析。
|
第四章是基于深度强化学习的跳波束与信道联合分配算法。首先介绍了跳波束技术的基本原理，给出了算法的适应场景，详细设计细节与仿真环境，最后给出了仿真实验结果分析。
|
||||||
|
|
||||||
|
|||||||
+23
-24
@@ -3,7 +3,7 @@
|
|||||||
|
|
||||||
\chapter{多波束卫星系统概述}% 中文测试文字。
|
\chapter{多波束卫星系统概述}% 中文测试文字。
|
||||||
\section{引言}
|
\section{引言}
|
||||||
多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及巨大的系统容量等特点，正在受到更加广泛的关注和研究\supercite{甘仲民2006卫星通信技术的新发展}。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国可用于手机的天通系统\supercite{纪明星2018天通一号卫星移动通信系统市场及应用分析}，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quatinty of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。
|
多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及巨大的系统容量等特点，正在受到更加广泛的关注和研究\supercite{甘仲民2006卫星通信技术的新发展}。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国可用于手机的天通系统\supercite{纪明星2018天通一号卫星移动通信系统市场及应用分析}，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quality of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。
|
||||||
|
|
||||||
基于多波束卫星的资源分配问题，本章将介绍多波束卫星通信系统的基础知识背景，首先将简要地介绍多波束卫星系统的基本构成，对多波束卫星系统常用的技术进行整理归纳；之后，本文将讨论卫星通信系统中必不可少的空间传输特性；最后，本章将对本文中使用到的序列决策模型和深度学习技术进行介绍。
|
基于多波束卫星的资源分配问题，本章将介绍多波束卫星通信系统的基础知识背景，首先将简要地介绍多波束卫星系统的基本构成，对多波束卫星系统常用的技术进行整理归纳；之后，本文将讨论卫星通信系统中必不可少的空间传输特性；最后，本章将对本文中使用到的序列决策模型和深度学习技术进行介绍。
|
||||||
\section{多波束卫星系统主要结构}
|
\section{多波束卫星系统主要结构}
|
||||||
@@ -20,7 +20,8 @@
|
|||||||
\subsection{波束与频率复用}
|
\subsection{波束与频率复用}
|
||||||
|
|
||||||
|
|
||||||
如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出与地面蜂窝通信系统类似的蜂窝状结构\supercite{刘刚2004卫星蜂窝通信系统中的点波束设计}。根据式\ref{eq:gain_alpha},波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。而跳波束卫星则搭载了跳波束控制器，将数据流分发给地面上不同的波位实现通信\supercite{etsi2005digital}。
|
如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出与地面蜂窝通信系统类似的蜂窝状结构\supercite{刘刚2004卫星蜂窝通信系统中的点波束设计}。根据波束辐射特性（参见式\ref{eq:gain_alpha}），波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的-3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。
|
||||||
|
% 而跳波束卫星则搭载了跳波束控制器，将数据流分发给地面上不同的波位实现通信\supercite{etsi2005digital}。
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
@@ -31,7 +32,7 @@
|
|||||||
\label{fig:starlinkrange}
|
\label{fig:starlinkrange}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
波束频率间复用技术\supercite{kreutel1977antenna}（frequency reuse, FR）就是将可以的带宽分多个不同的子波段，每一个波段可以在波束内进行复用，频率复用通过$N$色复用的形式描述，即将信道资源以均等的形式分配为多个分组，这样同一信道的就可以在多个不同小区的波束之间进行复用，从而提升频率效率和容量。图\ref{fig:fourcolor}展示了一个四色复用的例子，使用$N$色复用的情况下，波束的宽度设置为$\theta_b$，那么波束最小距离$\theta_c$ 为:
|
波束频率间复用技术\supercite{kreutel1977antenna}（frequency reuse, FR）就是将可用的带宽分多个不同的子波段，每一个波段可以在波束内进行复用，频率复用通过$N$色复用的形式描述，即将信道资源以均等的形式分配为多个分组，这样同一信道的就可以在多个不同小区的波束之间进行复用，从而提升频率效率和容量。图\ref{fig:fourcolor}展示了一个四色复用的例子，使用$N$色复用的情况下，波束的宽度设置为$\theta_b$，那么波束最小距离$\theta_c$ 为:
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
\theta_c = \frac{\theta_b\sqrt{3N}}{2}
|
\theta_c = \frac{\theta_b\sqrt{3N}}{2}
|
||||||
\label{eq:minbw}
|
\label{eq:minbw}
|
||||||
@@ -46,7 +47,7 @@
|
|||||||
\label{fig:fourcolor}
|
\label{fig:fourcolor}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
不同方案的频率复用方式能够带来不同的频谱效率（定义为单位带宽上的信道容量），图\ref{fig:freqency_efficient}分析了在卫星发射功率一定、波束间功率相等的情况下，不同$N$的频率复用方案中频谱效率在不考虑同频干扰情况下随着波束数量的关系的变化图。相比而言，采用多波束频率复用方案的情况下，频谱效率随着波束数量的增加而增加，在波束数量相同的情况下，频率复用程度越高，效率也就越高。但随着频谱复用程度的提高，同频干扰的程度也会增加，在星上有效载荷有限的情况下，在面对不同波束用户需求的场景下，如何合理动态的分配频率资源实现用户QoS与频谱效率的平衡，是本文的研究重点。
|
不同方案的频率复用方式能够带来不同的频谱效率（定义为单位带宽上的信道容量），图\ref{fig:freqency_efficient}分析了在卫星发射功率一定、波束间功率相等的情况下，不同$N$的频率复用方案中在不考虑同频干扰情况下频谱效率随波束数量的关系的变化图。采用多波束频率复用方案的情况下，频谱效率随着波束数量的增加而增加，在波束数量相同的情况下，频率复用程度越高，效率也就越高。但随着频谱复用程度的提高，同频干扰的程度也会增加，在星上有效载荷有限的情况下，在面对不同波束用户需求的场景下，如何合理动态地分配频率资源实现用户QoS与频谱效率的平衡，是本文的研究重点。
|
||||||
|
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
@@ -78,7 +79,7 @@
|
|||||||
\section{空间传输特性}
|
\section{空间传输特性}
|
||||||
|
|
||||||
\subsection{天线增益}
|
\subsection{天线增益}
|
||||||
卫星使用天线进行上行信号的接收和下行信号的发射，并且实现对信道的放大处理。多波束天线主要包括了多波束相控阵天线、多波束透镜天线以及反射面天线等三种。反射面天线常用于同步轨道的卫星通信系统，透镜天线则应用较少\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。相控阵天线在多波束卫星通信系统中有着越来越广泛的应用，包括StarLink在内的近地轨道卫星全球互联网接入服务都是用了有源相控阵天线技术\supercite{徐冰玉2021starlink}。多波束卫星的相控阵卫星天线有多个相同的天线元间距均匀排列而成，通过波束形成网络激励生成所需要的不同形状的相互独立的波束，对波束的数目等进行灵活的配置与管理。下面给出多波束卫星天线的传输模型。
|
卫星使用天线进行上行信号的接收和下行信号的发射，并且实现对信号的放大处理。多波束天线主要包括了多波束相控阵天线、多波束透镜天线以及反射面天线等三种。反射面天线常用于同步轨道的卫星通信系统，透镜天线则应用较少\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。相控阵天线在多波束卫星通信系统中有着越来越广泛的应用，包括StarLink在内的近地轨道卫星全球互联网接入服务都是用了有源相控阵天线技术\supercite{徐冰玉2021starlink}。多波束卫星的相控阵卫星天线由多个相同的天线元间距均匀排列而成，通过波束形成网络激励生成所需要的不同形状的相互独立的波束，对波束的数目等进行灵活的配置与管理。下面给出多波束卫星天线的传输模型。
|
||||||
|
|
||||||
天线增益是对一定方向上信号发射和接收的能力，天线在其最辐射方向上具有最大的增益，可以表示为：
|
天线增益是对一定方向上信号发射和接收的能力，天线在其最辐射方向上具有最大的增益，可以表示为：
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
@@ -92,7 +93,7 @@
|
|||||||
G_t = \eta (\frac{\pi D f}{c})^2
|
G_t = \eta (\frac{\pi D f}{c})^2
|
||||||
\label{eq:gain1}
|
\label{eq:gain1}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
该式表明，卫星天线的最大增益与天线口径面积成正比、与信号载波频率的平方成正比。以图\ref{fig:spaceX}，卫星波束的覆盖范围由半波束角($\alpha_0$)和仰角（$\theta$）表述，通常以3dB波束宽度或者半功率波束宽度表述天线宽度：
|
该式表明，卫星天线的最大增益与天线口径面积成正比、与信号载波频率的平方成正比。如图\ref{fig:spaceX}，卫星波束的覆盖范围由半波束角($\alpha_0$)和仰角（$\theta$）表述，通常以3dB波束宽度或者半功率波束宽度表述天线宽度：
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
\alpha_{3dB} = 70(c/fD) = 2\alpha_0
|
\alpha_{3dB} = 70(c/fD) = 2\alpha_0
|
||||||
\label{eq:3dB}
|
\label{eq:3dB}
|
||||||
@@ -109,7 +110,7 @@
|
|||||||
\caption{波束覆盖范围示意图}
|
\caption{波束覆盖范围示意图}
|
||||||
\label{fig:spaceX}
|
\label{fig:spaceX}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
$\alpha$多波束天线的辐射特性由主瓣和旁瓣组成，
|
多波束天线的辐射特性由主瓣和旁瓣组成，
|
||||||
设主瓣天线方向角为$\alpha$时的增益为$G(\alpha)$，那么主瓣的辐射特性可以写为：
|
设主瓣天线方向角为$\alpha$时的增益为$G(\alpha)$，那么主瓣的辐射特性可以写为：
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
G(\alpha) = G_m - 3(\alpha/ \alpha_0)^2, 0 \le \alpha \le \alpha_0
|
G(\alpha) = G_m - 3(\alpha/ \alpha_0)^2, 0 \le \alpha \le \alpha_0
|
||||||
@@ -124,7 +125,7 @@
|
|||||||
\label{fig:pb}
|
\label{fig:pb}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的同频干扰。ITU给出了各种多波束天线的旁瓣辐射特征模型\supercite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了四部分(\ref{fig:pb})，用公式表示为：
|
天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的同频干扰。ITU给出了各种多波束天线的旁瓣辐射特征模型\supercite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了三部分(式\ref{fig:pb})，用公式表示为：
|
||||||
|
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
G(\alpha) = \begin{cases}
|
G(\alpha) = \begin{cases}
|
||||||
@@ -163,7 +164,7 @@
|
|||||||
\label{eq:Loss}
|
\label{eq:Loss}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
|
|
||||||
其中$L_f$ 代表自由空间传播损耗，$L_g$ 代表大气吸收损耗，$L_r$ 雨衰。
|
其中$L_f$ 代表自由空间传播损耗，$L_g$ 代表大气吸收损耗，$L_r$代表雨衰。
|
||||||
\begin{enumerate}[label=(\arabic*)]
|
\begin{enumerate}[label=(\arabic*)]
|
||||||
\item 自由空间传播损耗：电磁波在星地之间进行传播时，信号能量将会随着距离的增加而进行扩散，由此会产生的传播损耗被称为自由空间传播损耗\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。自由空间传播损耗是最基本的传播损失，由于自由空间的传播损失，用户终端接收到的信号功率仅占发射功率极小部分。自由空间的传输损耗与传播距离的平方成正比，与载波波长成反比，由此定义自由空间传播损耗$L_f$为
|
\item 自由空间传播损耗：电磁波在星地之间进行传播时，信号能量将会随着距离的增加而进行扩散，由此会产生的传播损耗被称为自由空间传播损耗\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。自由空间传播损耗是最基本的传播损失，由于自由空间的传播损失，用户终端接收到的信号功率仅占发射功率极小部分。自由空间的传输损耗与传播距离的平方成正比，与载波波长成反比，由此定义自由空间传播损耗$L_f$为
|
||||||
|
|
||||||
@@ -207,13 +208,11 @@
|
|||||||
P_r = \frac{P_tG_tG_r}{L}
|
P_r = \frac{P_tG_tG_r}{L}
|
||||||
\label{eq:P_R}
|
\label{eq:P_R}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
$P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益和新账号的发射增益。$L$代表传输的损耗，包括自由空间传播损耗以及其他损耗。
|
$P_t$是信号的发射功率，$G_r$代表终端的接收增益。$L$代表传输的损耗，包括自由空间传播损耗以及其他损耗。天线的发射增益$G_t$为天线在最大辐射方向上，单位立体角发射功率与各向同性天线的范围立体角发射功率之比。等效各向同性辐射功率（Effective Isotropic Radiated Power, EIRP）\supercite{ilvcev2017global}为
|
||||||
|
|
||||||
实际系统中，定义天线的发射增益事最大辐射方向单位立体角发射功率和各向同性天线的单位立体角 发射功率之比，等效各向同性辐射功率（Effective Isotropic Radiated Power, EIPR）\supercite{ilvcev2017global}为
|
|
||||||
|
|
||||||
|
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
EIPR = G_t P_t
|
EIRP = G_t P_t
|
||||||
\label{eq:eipr}
|
\label{eq:eipr}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
用户终端和接收系统的性能可以使用系统的品质系数表征，记作$\frac{G}{T}$
|
用户终端和接收系统的性能可以使用系统的品质系数表征，记作$\frac{G}{T}$
|
||||||
@@ -235,16 +234,16 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
|
|||||||
|
|
||||||
\section{优化问题建模}
|
\section{优化问题建模}
|
||||||
|
|
||||||
在一定时间序列内对卫星资源进行分配可以视为是序列决策问题，是资源管理中常见的优化问题。这一问题通常被建模为马尔可夫决策过程（Markov Decision Process，MDP）\supercite{russell2016artificial}，本节主要对序列决策和MDP进行阐述。
|
在一定时间序列内对卫星资源进行分配可以视为是序列决策问题，是资源管理中常见的优化问题。这一问题通常被建模为马尔科夫决策过程（Markov Decision Process，MDP）\supercite{russell2016artificial}，本节主要对序列决策和MDP进行阐述。
|
||||||
\subsection{序列决策概述}\label{sec:decision}
|
\subsection{序列决策概述}\label{sec:decision}
|
||||||
在控制理论中，序列决策（Sequential Decision Making）通常指在一系列离散的时间步骤里，根据当前系统状态和信息，进行一系列的决策，以达到某种优化目标\supercite{littman1996algorithms}。在优化问题中，序列决策的每一个步骤都会对后续决策和整体的性能产生影响，但在局部看，序列决策的结果并不一定是最优结果。常见的序列决策思想有动态规划（Dynamic Programming，DP）\supercite{bellman1966dynamic}，这种算法在数学、管理学和计算机科学等领域有较多应用，这种方法会将整体问题拆解为具有重复子问题和最优子结构的序列决策问题，通过最小化或最大化某种目标函数的形式得到整体问题的最优解。另一个常见的场景是棋牌类比赛，下棋的每一步都会对整个后续棋局造成影响，单步的下棋策略往往不是最优甚至某些时候是非常糟糕的策略，而整体的收益会在比赛结束时得到体现。
|
在控制理论中，序列决策（Sequential Decision Making）通常指在一系列离散的时间步骤里，根据当前系统状态和信息，进行一系列的决策，以达到某种优化目标\supercite{littman1996algorithms}。在优化问题中，序列决策的每一个步骤都会对后续决策和整体的性能产生影响，但在局部看，序列决策的结果并不一定是最优结果。常见的序列决策思想有动态规划（Dynamic Programming，DP）\supercite{bellman1966dynamic}，这种算法在数学、管理学和计算机科学等领域有较多应用，这种方法会将整体问题拆解为具有重复子问题和最优子结构的序列决策问题，通过最小化或最大化某种目标函数的形式得到整体问题的最优解。另一个常见的场景是棋牌类比赛，下棋的每一步都会对整个后续棋局造成影响，单步的下棋策略往往不是最优甚至某些时候是非常糟糕的策略，而整体的收益会在比赛结束时得到体现。
|
||||||
通常，序列决策问题的求解有多种方法。当所有可能的状态已知或者问题具有固定的概率分布时，可以通过编程实现有限状态机的方法进行求解。这样方法要求在软件设计阶段，程序开发人员能够遇见到所有可能的情况。但是在实际的问题中，状态空间和动作空间都具有不确定性，穷举所有状态、设计有限状态机的方法不再现实。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\supercite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）\supercite{russell2016artificial}等方式，能够有效的解决序列决策问题。
|
通常，序列决策问题的求解有多种方法。当所有可能的状态已知或者问题具有固定的概率分布时，可以通过编程实现有限状态机的方法进行求解。这样的方法要求在软件设计阶段，程序开发人员能够预见所有可能的情况。但是在实际的问题中，状态空间和动作空间极大甚至是无穷的，难以穷举所有状态。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\supercite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）\supercite{russell2016artificial}等方式，能够有效的解决序列决策问题。
|
||||||
|
|
||||||
\subsection{马尔科夫决策过程}
|
\subsection{马尔科夫决策过程}
|
||||||
|
|
||||||
马尔科夫决策过程是描述决策问题的数学框架，其基于马尔科夫链，可以使用四元组进行描述$<\mathcal{S},\mathcal{A},T,R>$，即状态空间、动作空间、状态转移函数和奖励函数\supercite{puterman1990markov}：
|
马尔科夫决策过程是描述决策问题的数学框架，其基于马尔科夫链，可以使用四元组$<\mathcal{S},\mathcal{A},T,R>$描述，即状态空间、动作空间、状态转移函数和奖励函数\supercite{puterman1990markov}：
|
||||||
\begin{enumerate}
|
\begin{enumerate}
|
||||||
\item \textbf{状态空间（State Space）}：状态空间是描述系统状态的集合，通常用$S\mathcal{S}$表示，$s \in \mathcal{S}$表示系统的一个状态。每个状态代表系统在当前时间节点特定的情况或者配置。状态空间可以分为离散状态空间和连续状态空间，离散的状态空间通常用有限的集合表示，表示状态空间的有限性。例如在围棋中，如果将棋盘棋子情况作为状态，每个格点可以有三个状态之一：空、黑棋、白棋，那么状态空间的大小为$3^{361}$。而连续的状态空间代表有无限的状态，例如机器人在二维平面上移动的问题，其状态空间可以视为是二维笛卡尔坐标系，每个点$(x,y)$都可以视为一个状态，其状态的表征具有无限的可能性。
|
\item \textbf{状态空间（State Space）}：状态空间是描述系统状态的集合，通常用$\mathcal{S}$表示，$s \in \mathcal{S}$表示系统的一个状态。每个状态代表系统在当前时间节点特定的情况或者配置。状态空间可以分为离散状态空间和连续状态空间，离散的状态空间通常用有限的集合表示，表示状态空间的有限性。例如在围棋中，如果将棋盘棋子情况作为状态，每个格点可以有三个状态之一：空、黑棋、白棋，那么状态空间的大小为$3^{361}$。而连续的状态空间代表有无限的状态，例如机器人在二维平面上移动的问题，其状态空间可以视为是二维笛卡尔坐标系，每个点$(x,y)$都可以视为一个状态，其状态的表征具有无限的可能性。
|
||||||
\item \textbf{动作空间（Action Space）}：动作是运动系统从一个状态到另一个状态的操作，动作的集合成为动作空间，通常用$\mathcal{A}$表示，$a \in \mathcal{A}$表示系统的一个动作。同样地，动作空间也可以分为离散动作空间和连续动作空间。围棋的动作空间可以表示为在棋盘上放置一颗棋子，其可能的动作数量为$361$个，是有限的；可以用机器人的速度$(v_x, v_y)$代表二维空间机器人移动问题的动作，该动作是无限的。状态空间和动作空间的离散性并不是对应的关系，存在状态空间是连续的，动作空间是离散的情况，同样存在状态空间离散但动作空间连续的情况。
|
\item \textbf{动作空间（Action Space）}：动作是运动系统从一个状态到另一个状态的操作，动作的集合成为动作空间，通常用$\mathcal{A}$表示，$a \in \mathcal{A}$表示系统的一个动作。同样地，动作空间也可以分为离散动作空间和连续动作空间。围棋的动作空间可以表示为在棋盘上放置一颗棋子，其可能的动作数量为$361$个，是有限的；可以用机器人的速度$(v_x, v_y)$代表二维空间机器人移动问题的动作，该动作是无限的。状态空间和动作空间的离散性并不是对应的关系，存在状态空间是连续的，动作空间是离散的情况，同样存在状态空间离散但动作空间连续的情况。
|
||||||
\item \textbf{状态转移函数（Transition Function）}：状态转移函数是描述系统在某个状态下执行某个动作后，系统转移到下一个状态的概率分布，通常用$T(s,a,s')$表示，$T(s,a,s')$表示在状态$s$执行动作$a$后，系统转移到状态$s'$的概率。状态转移函数满足概率密度函数的一般特性，即
|
\item \textbf{状态转移函数（Transition Function）}：状态转移函数是描述系统在某个状态下执行某个动作后，系统转移到下一个状态的概率分布，通常用$T(s,a,s')$表示，$T(s,a,s')$表示在状态$s$执行动作$a$后，系统转移到状态$s'$的概率。状态转移函数满足概率密度函数的一般特性，即
|
||||||
\begin{align}
|
\begin{align}
|
||||||
@@ -252,7 +251,7 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
|
|||||||
\int_{s' \in S} T(s, a, s') = 1, \forall s \in \mathcal{S}, a \in \mathcal{A}
|
\int_{s' \in S} T(s, a, s') = 1, \forall s \in \mathcal{S}, a \in \mathcal{A}
|
||||||
\label{eq:T_1}
|
\label{eq:T_1}
|
||||||
\end{align}
|
\end{align}
|
||||||
同时概率转移函数满足马尔可夫性，即状态的转移只依赖于当前的状态和动作，与历史状态和动作无关，即
|
同时概率转移函数满足马尔科夫性，即状态的转移只依赖于当前的状态和动作，与历史状态和动作无关，即
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
P(s_{t+1}|s_t,a_t,s_{t-1},a_{t-1},\dots) = P(s_{t+1}|s_t,a_t)
|
P(s_{t+1}|s_t,a_t,s_{t-1},a_{t-1},\dots) = P(s_{t+1}|s_t,a_t)
|
||||||
\label{eq:markov}
|
\label{eq:markov}
|
||||||
@@ -264,15 +263,15 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
|
|||||||
% \subsection{启发式搜索概述}
|
% \subsection{启发式搜索概述}
|
||||||
\subsection{强化学习}
|
\subsection{强化学习}
|
||||||
\subsubsection{概述}
|
\subsubsection{概述}
|
||||||
基于马尔可夫决策过程，强化学习通过与环境的不断交互获得最优的动作选择策略$\pi^*$。图\ref{fig:rl}给出了强化学习算法的典型结构框架，问题建模成为马尔可夫过程，在这其中设置一个智能体（Agent），智能体观察环境中的状态信息并且接收奖励信息，然后基于状态选择特定的动作执行，而动作会改变环境更新状态并且得到奖励信息，智能体通过奖励调整策略$\pi$。
|
基于马尔科夫决策过程，强化学习通过与环境的不断交互获得最优的动作选择策略$\pi^*$。图\ref{fig:rl}给出了强化学习算法的典型结构框架，问题建模成为马尔科夫过程，在这其中设置一个智能体（Agent），智能体观察环境中的状态信息并且接收奖励信息，然后基于状态选择特定的动作执行，而动作会改变环境更新状态并且得到奖励信息，智能体通过奖励调整策略$\pi$。
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
\includegraphics[width=0.75\textwidth]{chap/figures/rl.png}
|
\includegraphics[width=0.45\textwidth]{chap/figures/rl.png}
|
||||||
\caption{强化学习的结构框架}
|
\caption{强化学习的结构框架}
|
||||||
\label{fig:rl}
|
\label{fig:rl}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
策略的优劣评估取决于奖励的取值，动作的选择考虑奖励因素时不仅要考虑当前的即时奖励，也要考虑未来的奖励值，通过奖励折现因子$gamma$来平衡当前奖励和未来奖励的关系。奖励函数可以写为
|
策略的优劣评估取决于奖励的取值，动作的选择考虑奖励因素时不仅要考虑当前的即时奖励，也要考虑未来的奖励值，通过奖励折现因子$\gamma$来平衡当前奖励和未来奖励的关系。奖励函数可以写为
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
R = \sum_{\tau=0}^{\infty} \gamma^{\tau} r_{t+\tau},\forall t
|
R = \sum_{\tau=0}^{\infty} \gamma^{\tau} r_{t+\tau},\forall t
|
||||||
\label{eq:reward}
|
\label{eq:reward}
|
||||||
@@ -326,7 +325,7 @@ $Q(s,a)$表示对于$(s,a)$在策略$\pi$下的期望奖励，动作价值函数
|
|||||||
\end{equation}
|
\end{equation}
|
||||||
|
|
||||||
式\ref{eq:Q_star_iter}表明最优动作价值函数也可以通过迭代的方式得到。
|
式\ref{eq:Q_star_iter}表明最优动作价值函数也可以通过迭代的方式得到。
|
||||||
基于价值函数、动作价值函数可以将强化学习分为基于值函数的强化学习、基于策略的强化学习以及基于策略-评论者（Actor-Critic，AC）的强化学习。
|
基于价值函数、动作价值函数可以将强化学习分为基于值函数的强化学习、基于策略的强化学习以及基于演员-评论家（Actor-Critic，AC）的强化学习。
|
||||||
\subsubsection{强化学习方法分类}
|
\subsubsection{强化学习方法分类}
|
||||||
|
|
||||||
\textbf{（1）基于值的强化学习方法}
|
\textbf{（1）基于值的强化学习方法}
|
||||||
@@ -335,7 +334,7 @@ $Q(s,a)$表示对于$(s,a)$在策略$\pi$下的期望奖励，动作价值函数
|
|||||||
|
|
||||||
\textbf{（2）基于策略的强化学习方法}
|
\textbf{（2）基于策略的强化学习方法}
|
||||||
|
|
||||||
基于策略的RL方法相比基于值的方法，其基本思想是直接通过学习优化策略函数。策略梯度算法是这一类算法的代表。使用$\pi(s,a;\theta)$代表一个策略函数，其中$\theta$为策略函数内部参数权重的取值，在深度强化学习中代表深度神经网络的网络参数，策略梯度通过梯度上升法更新$\theta$从而优化策略。具体而言，智能体在图\ref{fig:rl}的框架中不断与环境交互获得周期序列$s_1,a_1,r_1,s_2,a_2,r_2,\cdots,s_t,a_t,r_t$，这样的周期被称为迹（$\lambda$），迹发生的概率可以表示为
|
基于策略的RL方法相比基于值的方法，其基本思想是直接通过学习优化策略函数。策略梯度算法是这一类算法的代表。使用$\pi(s,a;\theta)$代表一个策略函数，其中$\theta$为策略函数内部参数权重的取值，在深度强化学习中代表深度神经网络的网络参数，策略梯度通过梯度上升法更新$\theta$从而优化策略。具体而言，智能体在图\ref{fig:rl}的框架中不断与环境交互获得周期序列$s_1,a_1,r_1,s_2,a_2,r_2,\cdots,s_t,a_t,r_t$，这样的周期序列被称为迹（Trace, 使用$\lambda$表述），迹发生的概率可以表示为
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
\begin{aligned}
|
\begin{aligned}
|
||||||
P_{\theta}(\lambda) &= P(s_1)\pi(s_1,a_1;\theta)P(s_2|s_1,a_1)\pi(s_2,a_2;\theta)\cdots P(s_t|s_{t-1},a_{t-1})\pi(s_t,a_t;\theta) \\
|
P_{\theta}(\lambda) &= P(s_1)\pi(s_1,a_1;\theta)P(s_2|s_1,a_1)\pi(s_2,a_2;\theta)\cdots P(s_t|s_{t-1},a_{t-1})\pi(s_t,a_t;\theta) \\
|
||||||
@@ -349,7 +348,7 @@ $Q(s,a)$表示对于$(s,a)$在策略$\pi$下的期望奖励，动作价值函数
|
|||||||
\max_{\theta}J(\theta) = \mathrm{E}_{\lambda \sim P_{\theta}(\lambda)}[R(\lambda)]
|
\max_{\theta}J(\theta) = \mathrm{E}_{\lambda \sim P_{\theta}(\lambda)}[R(\lambda)]
|
||||||
\label{eq:J}
|
\label{eq:J}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
此函数的目的是最大化迹奖励的期望，即增大高奖励迹出现的概率。每次迭代训练，智能体会基于现有策略与换看交互形成$N$个迹，通过以下公式对$J$取梯度并进行无偏估计：
|
此函数的目的是最大化迹奖励的期望，即增大高奖励迹出现的概率。每次迭代训练，智能体会基于现有策略与环境交互形成$N$个迹，通过以下公式对$J$取梯度并进行无偏估计：
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
\begin{aligned}
|
\begin{aligned}
|
||||||
\nabla_{\theta}J(\theta) &= \mathrm{E}_{\lambda \sim P_{\theta}(\lambda)}[\nabla_{\theta}\log P_{\theta}(\lambda)R(\lambda)] \\
|
\nabla_{\theta}J(\theta) &= \mathrm{E}_{\lambda \sim P_{\theta}(\lambda)}[\nabla_{\theta}\log P_{\theta}(\lambda)R(\lambda)] \\
|
||||||
|
|||||||
+66
-29
@@ -4,7 +4,7 @@
|
|||||||
\chapter{基于深度强化学习的信道分配算法研究}
|
\chapter{基于深度强化学习的信道分配算法研究}
|
||||||
|
|
||||||
\section{引言}
|
\section{引言}
|
||||||
为了应对下一代卫星移动通信系统高吞吐量的数据需求，卫星广泛采用了多波束卫星的架构，不同波束分别覆盖地面特定的区域，波束共同组成了单卫星的区域覆盖。由于卫星通信的用户和终端在地理空间和使用时间上分布不均匀，卫星不同波束间的通信数据量存在较大的差异，如果采用固定的频谱分配方式，即使波束内不存在用户使用资源，也会造成资源的浪费。而采用动态资源分配的方式，即所有的信道资源都可以被各个波束的用户所使用\supercite{刘召2019多波束卫星动态信道资源分配算法}，相比固定的频谱分配方式能够拥有较高的资源利用率。关于如何合理地将星上资源在波束之间分配的研究越来越多\supercite{杨宇龙2020多波束卫星通信系统的资源分配算法研究}，这些研究主要是针对带宽或者功率作为优化目标，本章将首先针对现有的单一资源优化分配算法的性能进行研究，根据其不足改进得到基于强化学习的多波束卫星资源的分配算法。
|
为了应对下一代卫星移动通信系统高吞吐量的数据需求，卫星广泛采用了多波束卫星的架构，不同波束分别覆盖地面特定的区域，波束共同组成了单卫星的区域覆盖。由于卫星通信的用户和终端在地理空间和使用时间上分布不均匀，卫星不同波束间的通信数据量存在较大的差异，如果采用固定的频谱分配方式，即使波束内不存在用户使用资源，也会造成资源的浪费。而采用动态资源分配的方式，即所有的信道资源都可以被各个波束的用户所使用\supercite{刘召2019多波束卫星动态信道资源分配算法}，相比固定的频谱分配方式能够拥有较高的资源利用率。关于如何合理地将星上资源在波束之间分配的研究越来越多\supercite{杨宇龙2020多波束卫星通信系统的资源分配算法研究}，这些研究主要是将带宽或者功率作为优化目标，本章将首先针对现有的单一资源优化分配算法的性能进行研究，根据其不足改进得到基于强化学习的多波束卫星资源的分配算法。
|
||||||
% 但是在多波束卫星系统中，从不同的波束发送的信道在卫星转发器相遇，这样导致使用相同频率资源的信号在中心距离小于同频复用距离时存在同频干扰
|
% 但是在多波束卫星系统中，从不同的波束发送的信道在卫星转发器相遇，这样导致使用相同频率资源的信号在中心距离小于同频复用距离时存在同频干扰
|
||||||
|
|
||||||
% 但多波束卫星系统中，不同波束使用相同信道进行转发时，会产生同频干扰，使用相同频率工作的波束会相互干扰，引起通信速率和通信质量的下降。
|
% 但多波束卫星系统中，不同波束使用相同信道进行转发时，会产生同频干扰，使用相同频率工作的波束会相互干扰，引起通信速率和通信质量的下降。
|
||||||
@@ -29,7 +29,7 @@
|
|||||||
% \end{enumerate}
|
% \end{enumerate}
|
||||||
|
|
||||||
|
|
||||||
如图\ref{fig:beam_users}所示，考虑一个给定的卫星场景。其中存在数量为$K$的用户终端分散在各小区中，图中的点、“x”等标记代表不同的地面用户。在$t$时刻，用户通过根据地理位置通过最大化SINR的方式与波束对应并申请接入卫星通话系统。各个波束之间的业务量之间存在一定的差异，因而每个波束的业务需求和信道容量也有所差别，使用$C_i(i=1,2,\dots,N)$表示。
|
如图\ref{fig:beam_users}所示，考虑一个给定的卫星场景。其中存在数量为$K$的用户终端分散在各小区中，图中的点、“x”等标记代表不同的地面用户。在$t$时刻，用户通过根据地理位置通过最大化信干噪比（Signal to Interference plus Noise Ratio，SINR）的方式与波束对应并申请接入卫星通话系统。各个波束之间的业务量之间存在一定的差异，因而每个波束的业务需求和信道容量也有所差别，使用$C_i(i=1,2,\dots,N)$表示。
|
||||||
同时，用户根据地理位置的不同，会被不同的点波束所服务，波束与用户之间的关系可以使用以下矩阵描述：
|
同时，用户根据地理位置的不同，会被不同的点波束所服务，波束与用户之间的关系可以使用以下矩阵描述：
|
||||||
$$\mathbf{X}=\{x_{k,n}|x_{k,n}\in\{0,1\}, \sum_{n=1}^{N}x_{k,n}=1,\forall k \} .$$
|
$$\mathbf{X}=\{x_{k,n}|x_{k,n}\in\{0,1\}, \sum_{n=1}^{N}x_{k,n}=1,\forall k \} .$$
|
||||||
|
|
||||||
@@ -42,11 +42,11 @@ $$\mathbf{X}=\{x_{k,n}|x_{k,n}\in\{0,1\}, \sum_{n=1}^{N}x_{k,n}=1,\forall k \}
|
|||||||
\label{fig:beam_users}
|
\label{fig:beam_users}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
\subsection{问题建模}\label{sec:problem}
|
\subsection{问题建模}\label{sec:problem}
|
||||||
卫星系统中卫星的总功率和总的带宽可以分别使用$P_{tot}$和$B$表示，而每个波束的最大功率和每个波束的带宽可以表示为$P_b$与$B_b$。由于星上带宽资源具有稀缺性，卫星分配个各个波束的带宽通常小于或等于其业务需求量，即
|
卫星系统中卫星的总功率和总的带宽可以分别使用$P_{tot}$和$B$表示，而每个波束的最大功率和每个波束的带宽可以表示为$P_b$与$B_b$。由于星上带宽资源具有稀缺性，卫星分配给各个波束的带宽通常小于或等于其业务需求量，即
|
||||||
$$C_i \le T_i^t, \forall t$$
|
$$C_i \le T_i^t, \forall t$$
|
||||||
|
|
||||||
% 多波束卫星通信的一大特点就是可以使用频率复用技术，能够使得卫星在使用相同信道的同时与多个波束服务的小区内的用户进行通信。频率复用技术的优势能够提高频率资源的利用率，提高系统的通信容量。
|
% 多波束卫星通信的一大特点就是可以使用频率复用技术，能够使得卫星在使用相同信道的同时与多个波束服务的小区内的用户进行通信。频率复用技术的优势能够提高频率资源的利用率，提高系统的通信容量。
|
||||||
多波束卫星通信的一个显著特点是它能够利用频率复用技术。这使得卫星可以在同一信道上同时服务多个波束覆盖的小区，与这些小区内的众多用户进行通信。这种频率复用技术大幅提高了频率资源的利用效率和整个系统的通信容量。但是同频复用导致波束的天线旁瓣增益对其他使用同频信道的波束造成一定的干扰，而这种干扰能够会影响系统的容量。假设系统拥有$M$个可以复用的信道，每个可复用信道的带宽为$B_c = \frac{B}{M}$，即每个点波束可以在所有可用的信道集合中分配未使用的信道，每个用户单个时隙只能占有一个信道。假设星上资源中，用户$k$使用信道$m$进行通信的功率为$w_{m,k}$，那么可以用以下矩阵作为信道分配的描述：
|
多波束卫星通信的一个显著特点是它能够利用频率复用技术。这使得卫星可以在同一信道上同时服务多个波束覆盖的小区，与这些小区内的众多用户进行通信。这种频率复用技术大幅提高了频率资源的利用效率和整个系统的通信容量。但是同频复用导致波束的天线旁瓣增益对其他使用同频信道的波束造成一定的干扰，而这种干扰会影响系统的容量。假设系统拥有$M$个可以复用的信道，每个可复用信道的带宽为$B_c = \frac{B}{M}$，即每个点波束可以在所有可用的信道集合中分配未使用的信道，每个用户单个时隙只能占有一个信道。假设星上资源中，用户$k$使用信道$m$进行通信的功率为$w_{m,k}$，那么可以用以下矩阵作为信道分配的描述：
|
||||||
$$
|
$$
|
||||||
\mathbf{W} = [\mathbf{w_1, w_2,\dots,w_K}] =
|
\mathbf{W} = [\mathbf{w_1, w_2,\dots,w_K}] =
|
||||||
\begin{bmatrix}
|
\begin{bmatrix}
|
||||||
@@ -63,7 +63,7 @@ $$
|
|||||||
\mathbf{F} = \mathbf{W} \cdot \mathbf{X}
|
\mathbf{F} = \mathbf{W} \cdot \mathbf{X}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
|
|
||||||
由于存在波束间的干扰干扰关系，如果定义$h_{i,j}$为用户$j$对用户$i$的干扰关系，可以构建用户之间的增益矩阵为$\mathbf{H}$
|
由于存在波束间的干扰关系，如果定义$h_{i,j}$为用户$j$对用户$i$的干扰关系，可以构建用户之间的增益矩阵为$\mathbf{H}$
|
||||||
|
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
\mathbf{H} = \begin{bmatrix}
|
\mathbf{H} = \begin{bmatrix}
|
||||||
@@ -125,11 +125,11 @@ $$
|
|||||||
\label{eq:SE}
|
\label{eq:SE}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
|
|
||||||
假设此时系统中每个波束的发射功率为$P_t^b$，此时系统的能量效率为
|
% 假设此时系统中每个波束的发射功率为$P_t^b$，此时系统的能量效率为
|
||||||
\begin{equation}
|
% \begin{equation}
|
||||||
EE_t = \frac{\sum_{\forall u \in \mathcal{U_t}} C_u}{\sum_{b=0}^{N}P_t^b}
|
% EE_t = \frac{\sum_{\forall u \in \mathcal{U_t}} C_u}{\sum_{b=0}^{N}P_t^b}
|
||||||
\label{eq:EE}
|
% \label{eq:EE}
|
||||||
\end{equation}
|
% \end{equation}
|
||||||
|
|
||||||
信道分配的目的是最小化用户通信的阻塞率、最大化系统的频谱效率，需要满足系统的限制。因此可以将信道分配问题建模为以下问题：
|
信道分配的目的是最小化用户通信的阻塞率、最大化系统的频谱效率，需要满足系统的限制。因此可以将信道分配问题建模为以下问题：
|
||||||
|
|
||||||
@@ -141,7 +141,7 @@ $$
|
|||||||
C_i \ge C_t, \forall i \in \mathcal{U_t} \label{eq:Cth}
|
C_i \ge C_t, \forall i \in \mathcal{U_t} \label{eq:Cth}
|
||||||
\end{align}
|
\end{align}
|
||||||
|
|
||||||
为了简化问题的复杂度，在本章的卫星通信场景中假设了每个信道采用相同的功率进行发射，即$f_{i,j} \in {P_{Channel}, 0} $，同时本章场景主要是卫星语音通话，因此可以将用户的业务需求视为固定值，每次用户的通信只占用一个信道。式\ref{eq:pt}表示卫星所有波束的发射总功率不超过系统的总的发射功率。式\ref{eq:pbb}表示每个波束的发射功率不超过单波束的最大的发射功率，卫星单个波束的最大发射功率限制和其波束形成的方式有关。式\ref{eq:Cth}表示用户的通信速率不低于最低的通信速率，同时新用户的接入不能影响原有正在使用系统的用户的正常通信条件。由此便将卫星信道的动态分配问题转化为了一个序列决策问题从而能够使用深度强化学习的方法。
|
为了简化问题的复杂度，在本章的卫星通信场景中假设了每个信道采用相同的功率进行发射，即$f_{i,j} \in \{P_{Channel}, 0\} $，同时本章场景主要是卫星语音通话，因此可以将用户的业务需求视为固定值，每次用户的通信只占用一个信道。式\ref{eq:pt}表示卫星所有波束的发射总功率不超过系统的总的发射功率。式\ref{eq:pbb}表示每个波束的发射功率不超过单波束的最大的发射功率，卫星单个波束的最大发射功率限制和其波束形成的方式有关。式\ref{eq:Cth}表示用户的通信速率不低于最低的通信速率，同时新用户的接入不能影响原有正在使用系统的用户的正常通信条件。由此便将卫星信道的动态分配问题转化为了一个序列决策问题从而能够使用深度强化学习的方法。
|
||||||
|
|
||||||
\section{基于强化学习的卫星信道分配算法的问题建模}
|
\section{基于强化学习的卫星信道分配算法的问题建模}
|
||||||
% vim:ts=4:sw=4
|
% vim:ts=4:sw=4
|
||||||
@@ -168,7 +168,7 @@ $$
|
|||||||
\end{equation}
|
\end{equation}
|
||||||
\subsubsection{动作空间}
|
\subsubsection{动作空间}
|
||||||
动作是智能体对环境的操作与输出，根据Q网络的特点，动作空间是离散的，每个时刻的动作是选择一个可用的信道，即
|
动作是智能体对环境的操作与输出，根据Q网络的特点，动作空间是离散的，每个时刻的动作是选择一个可用的信道，即
|
||||||
$\mathcal{A} = {1, 2, \cdot, M}$。
|
$\mathcal{A} = \{1, 2, \cdots, M\}$。
|
||||||
Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值函数的原则，动作$a_{t_i}$表示为
|
Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值函数的原则，动作$a_{t_i}$表示为
|
||||||
|
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
@@ -201,7 +201,7 @@ Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值
|
|||||||
\subsection{状态重构}\label{sec:stateChange}
|
\subsection{状态重构}\label{sec:stateChange}
|
||||||
在完成了马尔可夫过程的抽象后，需在此基础上进行一定的数据预处理和状态重构操作。这主要是因为：
|
在完成了马尔可夫过程的抽象后，需在此基础上进行一定的数据预处理和状态重构操作。这主要是因为：
|
||||||
\begin{enumerate}
|
\begin{enumerate}
|
||||||
\item 神经网络的输入往往需要一定的结构化约束，只有将的数据转化为特定的张量形式才能够由神经网络学习发现其中的特征信息，例如在状态空间中，已经服务的用户包含了用户之间的空间位置信息，由于地理信息是空间连续的必须要将其进行离散化处理才能够输入到神经网络中。
|
\item 神经网络的输入往往需要一定的结构化约束，只有将数据转化为特定的张量形式才能够由神经网络学习发现其中的特征信息，例如在状态空间中，已经服务的用户包含了用户之间的空间位置信息，由于地理信息是空间连续的必须要将其进行离散化处理才能够输入到神经网络中。
|
||||||
\item 对状态信息进行重构，可以减少状态空间的维度。进行预处理后可以有效降低空间复杂度信息，例如在考虑共频干扰时只需要考虑用户周边信道的干扰即可，而实际卫星可能拥有数百甚至数千的波束，不进行状态压缩将会带来巨大的时空复杂度。
|
\item 对状态信息进行重构，可以减少状态空间的维度。进行预处理后可以有效降低空间复杂度信息，例如在考虑共频干扰时只需要考虑用户周边信道的干扰即可，而实际卫星可能拥有数百甚至数千的波束，不进行状态压缩将会带来巨大的时空复杂度。
|
||||||
\end{enumerate}
|
\end{enumerate}
|
||||||
|
|
||||||
@@ -215,7 +215,7 @@ Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值
|
|||||||
\caption{某个时刻的业务需求量}
|
\caption{某个时刻的业务需求量}
|
||||||
\label{fig:origin}
|
\label{fig:origin}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
通过构造$M+1$张图片，其中前$M$张代表正在进行通信的用户对$M$个信道的占用情况，第$m(m \in {1,2,\cdots,M})$张图片代表了$t_i$时刻已经服务用户集合$\mathcal{U_{t_i}}$ 对$m$信道的占用情况。第$M+1$张代表了新到来用户的情况。每个像素点占用1位的信息，这样就将信息重构为了一个$(M+1) \times L \times H$的图形张量，即拥有$M+1$个颜色通道的黑白图像。图\ref{fig:state_restruct}描述了图\ref{fig:origin}的一种可能的状态压缩情况。在这种状态压缩方案下，状态空间的计算复杂度通过系统$L$和$H$两个维度进行控制，状态可以表示为$s\in{0, 1}^{(M+1)\times L \times H}$。
|
通过构造$M+1$张图片，其中前$M$张代表正在进行通信的用户对$M$个信道的占用情况，第$m(m \in {1,2,\cdots,M})$张图片代表了$t_i$时刻已经服务用户集合$\mathcal{U_{t_i}}$ 对$m$信道的占用情况。第$M+1$张代表了新到来用户的情况。每个像素点占用1位的信息，这样就将信息重构为了一个$(M+1) \times L \times H$的图形张量，即拥有$M+1$个颜色通道的黑白图像。图\ref{fig:state_restruct}描述了图\ref{fig:origin}的一种可能的状态压缩情况。在这种状态压缩方案下，状态空间的计算复杂度通过系统$L$和$H$两个维度进行控制，状态可以表示为$s\in\{0, 1\}^{(M+1)\times L \times H}$。
|
||||||
\begin{figure}
|
\begin{figure}
|
||||||
\centering
|
\centering
|
||||||
\includegraphics[width=0.95\textwidth]{chap/figures/statechange.png}
|
\includegraphics[width=0.95\textwidth]{chap/figures/statechange.png}
|
||||||
@@ -226,7 +226,7 @@ Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值
|
|||||||
|
|
||||||
|
|
||||||
|
|
||||||
本章聚焦于中低轨卫星的情况，需要考虑卫星的移动性问题，如图\ref{fig:leonet}所示，地面用户不能总在任何时候都与卫星通信，通信的时长收到地轨卫星的覆盖时间限制。图\ref{fig:leonet}所描述的系统多种，卫星正下方的紫色圈层即为卫星的覆盖范围，其覆盖范围会随着卫星的移动而进行移动。使用时间$T$表示地面用户与单颗卫星的最长通信时间，那么可以得到
|
本章聚焦于中低轨卫星的情况，需要考虑卫星的移动性问题，如图\ref{fig:leonet}所示，地面用户不能总在任何时候都与卫星通信，通信的时长受到低轨卫星的覆盖时间限制。图\ref{fig:leonet}所描述的系统多种，卫星正下方的紫色圈层即为卫星的覆盖范围，其覆盖范围会随着卫星的移动而进行移动。使用时间$T$表示地面用户与单颗卫星的最长通信时间，那么可以得到
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
T = \frac{L}{v_{sat}}
|
T = \frac{L}{v_{sat}}
|
||||||
\label{eq:maxt}
|
\label{eq:maxt}
|
||||||
@@ -249,7 +249,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
|
|||||||
|
|
||||||
|
|
||||||
\subsection{Q网络的架构与计算}\label{sec:qwl}
|
\subsection{Q网络的架构与计算}\label{sec:qwl}
|
||||||
如\ref{sec:rl}介绍，RL只在找到最佳的动作选择策略，这一策略可以基于当前的状态做出最佳的动作决策。Q学习是通过定义Q函数的方法来估计价值函数，聚焦于在状态$s$下找到执行动作$a$的累计奖励，通过迭代的方式求解。由于时序决策序列存在较强的相关性，DQN架构采用了经验回放技术提升网络的收敛性，每次训练过程中都从经验池中提取一定数量的经验数据，通过\ref{eq:Ltheta}计算目标网络与当前网络的误差，通过随机梯度下降（Stochastic Gradient Descent, SGD）的方式来更新网络参数。
|
如\ref{sec:rl}介绍，RL旨在找到最佳的动作选择策略，这一策略可以基于当前的状态做出最佳的动作决策。Q学习是通过定义Q函数的方法来估计价值函数，聚焦于在状态$s$下找到执行动作$a$的累计奖励，通过迭代的方式求解。由于时序决策序列存在较强的相关性，DQN架构采用了经验回放技术提升网络的收敛性，每次训练过程中都从经验池中提取一定数量的经验数据，通过\ref{eq:Ltheta}计算目标网络与当前网络的误差，通过随机梯度下降（Stochastic Gradient Descent, SGD）的方式来更新网络参数。
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
L(\theta) = \mathrm{E} [(r_{t} + \gamma \max_{a'} Q'(s_{t+1}, a'; \theta ') - Q(s_t, a_t; \theta))^2]
|
L(\theta) = \mathrm{E} [(r_{t} + \gamma \max_{a'} Q'(s_{t+1}, a'; \theta ') - Q(s_t, a_t; \theta))^2]
|
||||||
\label{eq:Ltheta}
|
\label{eq:Ltheta}
|
||||||
@@ -261,7 +261,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
|
|||||||
\end{equation}
|
\end{equation}
|
||||||
由式\ref{eq:Q_t_1}可以得到，SGD的本质就是最小化误差函数，即$\min L(\theta)$
|
由式\ref{eq:Q_t_1}可以得到，SGD的本质就是最小化误差函数，即$\min L(\theta)$
|
||||||
|
|
||||||
本章算法使用了卷积神经网络（convolutional neural network， CNN）作为Q网络的架构，具体而言主要包含了四层的网络结构。第一层是卷积层，包含16个$5\times 5$卷积核，依据\ref{sec:stateChange}中状态重构的描述，其输入为$M+1$张$L\times H$张量。第二层是32个$3\times 3$个卷积核。经过重新排列与重构输入到第三层和第四层的全连接层中，最后输出为$M$个Q值。其具体参数如表\ref{tab:Q}所示，其中$L = H = 10$。
|
本章算法使用了卷积神经网络（Convolutional Neural Network， CNN）作为Q网络的架构，具体而言主要包含了四层的网络结构。第一层是卷积层，包含16个$5\times 5$卷积核，依据\ref{sec:stateChange}中状态重构的描述，其输入为$M+1$张$L\times H$张量。第二层是32个$3\times 3$个卷积核。经过重新排列与重构输入到第三层和第四层的全连接层中，最后输出为$M$个Q值。其具体参数如表\ref{tab:Q}所示，其中$L = H = 10$。
|
||||||
|
|
||||||
\begin{table}[hbpt]
|
\begin{table}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
@@ -284,7 +284,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
|
|||||||
算法一共分为以下几个主要过程：
|
算法一共分为以下几个主要过程：
|
||||||
\begin{enumerate}
|
\begin{enumerate}
|
||||||
\item 参数初始化，初始化仿真场景和算法的参数。
|
\item 参数初始化，初始化仿真场景和算法的参数。
|
||||||
\item 训练更新：将经验$\phi = {s, a, r, s}$存储到经验池。当经验池数据量达到训练门限时，随机选取一组数据批量训练，通过随机梯度下降的方式更新Q网络的参数，更新Q'网络的参数。
|
\item 训练更新：将经验$\phi = \{s, a, r, s\}$存储到经验池。当经验池数据量达到训练门限时，随机选取一组数据批量训练，通过随机梯度下降的方式更新Q网络的参数，更新Q'网络的参数。
|
||||||
\end{enumerate}
|
\end{enumerate}
|
||||||
具体的步骤如下：
|
具体的步骤如下：
|
||||||
\begin{breakablealgorithm}
|
\begin{breakablealgorithm}
|
||||||
@@ -334,10 +334,10 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
|
|||||||
\end{algorithmic}
|
\end{algorithmic}
|
||||||
\end{breakablealgorithm}
|
\end{breakablealgorithm}
|
||||||
|
|
||||||
在算法的流程中使用到了$\epsilon - greedy$策略，即使用$\epsilon \in [0,1]$的概率随机地进行动作选择，否则选择具有最大Q值的动作。这种方法的主要目的是在探索（exploration）和利用（exploitation）之间达到平衡，利用的含义是在当前的信息下选择已知的最优动作在当前例子中就是最大化Q值所对应的动作，这样主要的目的是利用历史知识进行学习，而探索则是随机选择一个动作，抛弃所有的已获得的信息。这种策略有助于寻找到全局最优解，避免过早地陷入到对局部最优解中。在本算法中使用衰减率$\lambda$来控制探索概率的衰减速度，$\epsilon_f$是探索概率的最小值。
|
在算法的流程中使用到了$\epsilon - greedy$策略，即使用$\epsilon \in [0,1]$的概率随机地进行动作选择，否则选择具有最大Q值的动作。这种方法的主要目的是在探索（exploration）和利用（exploitation）之间达到平衡，利用的含义是在当前的信息下选择已知的最优动作在当前例子中就是最大化Q值所对应的动作，这样主要的目的是利用历史知识进行学习，而探索则是随机选择一个动作，抛弃所有的已获得的信息。这种策略有助于寻找到全局最优解，避免过早地陷入到局部最优解中。在本算法中使用衰减率$\lambda$来控制探索概率的衰减速度，$\epsilon_f$是探索概率的最小值。
|
||||||
|
|
||||||
\section{仿真结果分析}
|
\section{仿真结果分析}
|
||||||
本节首先搭建了评估本章算法的仿真环境，给出了DRL算法所使用的参数。为了验证算法的有效性和性能，选取了多个不同的参数但作为仿真的场景并与固定信道分配等算法进行了对比，结果表明本章的算法能够实现较高的频谱效率和较低的阻塞率。
|
本节首先搭建了评估本章算法的仿真环境，给出了DRL算法所使用的参数。为了验证算法的有效性和性能，选取了多个不同的参数作为仿真的场景并与固定信道分配等算法进行了对比，结果表明本章的算法能够实现较高的频谱效率和较低的阻塞率。
|
||||||
\subsection{实验参数设计}
|
\subsection{实验参数设计}
|
||||||
仿真中使用的是低轨的单颗L波段卫星系统，主要的参数如表\ref{tab:para}所示，主要参考文献\parencite{zhao2020deep}。其中，业务申请服从参数为$\lambda$的泊松分布，业务的持续时间服从参数为$\mu$的负指数分布，参考\parencite{刘帅军2018卫星通信系统中动态资源管理技术研究}。系统中初始存在的用户数为400，分散在各个波束内。业务速率的最低为\SI{500}{kbps}。
|
仿真中使用的是低轨的单颗L波段卫星系统，主要的参数如表\ref{tab:para}所示，主要参考文献\parencite{zhao2020deep}。其中，业务申请服从参数为$\lambda$的泊松分布，业务的持续时间服从参数为$\mu$的负指数分布，参考\parencite{刘帅军2018卫星通信系统中动态资源管理技术研究}。系统中初始存在的用户数为400，分散在各个波束内。业务速率的最低为\SI{500}{kbps}。
|
||||||
|
|
||||||
@@ -397,7 +397,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
|
|||||||
|
|
||||||
\subsection{算法性能分析}
|
\subsection{算法性能分析}
|
||||||
\subsubsection{算法复杂度分析}
|
\subsubsection{算法复杂度分析}
|
||||||
本文中使用的DRL算法通过状态重构、卷积降采样等方式降低了数据维度和计算的复杂度，从而在大大缩减了计算开销和计算时间。本算法使用了卷积神经网络描述，其中卷积层的复杂度为：
|
本文中使用的DRL算法通过状态重构、卷积降采样等方式降低了数据维度和计算的复杂度，从而大大缩减了计算开销和计算时间。本算法使用了卷积神经网络描述，其中卷积层的复杂度为：
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
\mathcal{O}(\sum_{i=1}^{N_{conv}} M_i^2\cdot K_i^2 \cdot C_{in} \cdot C_{out})
|
\mathcal{O}(\sum_{i=1}^{N_{conv}} M_i^2\cdot K_i^2 \cdot C_{in} \cdot C_{out})
|
||||||
\label{eq:CNN}
|
\label{eq:CNN}
|
||||||
@@ -447,37 +447,74 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
|
|||||||
|
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
\includegraphics[width=0.75\textwidth]{chap/figures/mu_6.png}
|
\begin{subfigure}{0.45\textwidth}
|
||||||
\caption{业务持续时间一定的情况下通信的阻塞率随着到达率的变化情况}
|
|
||||||
|
\includegraphics[width=\textwidth]{chap/figures/mu_6.png}
|
||||||
|
\caption{阻塞率随$\lambda$变化情况}
|
||||||
|
\label{fig:subfigurelamb}
|
||||||
|
\end{subfigure}
|
||||||
|
\begin{subfigure}{0.45\textwidth}
|
||||||
|
|
||||||
|
\includegraphics[width=\textwidth]{chap/figures/mu_3_se.png}
|
||||||
|
\caption{频谱效率随$\lambda$变化情况}
|
||||||
|
\label{fig:subfigurelambse}
|
||||||
|
\end{subfigure}
|
||||||
|
\caption{业务持续时间一定的情况下算法性能随着到达率的变化情况}
|
||||||
\label{fig:mu_6blk}
|
\label{fig:mu_6blk}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
如图\ref{fig:mu_6blk}所示，阻塞率会随着业务到达率的增大而增大，可用的信道数是固定的，随着到达率的增加，会有越来越多的用户因为信道被完全占用无法得到服务。本章方法在业务的持续时间固定时，在大多数的业务到达率情况下在阻塞率方面优于其他两种算法。例如在$\lambda = 60$时，本文算法的阻塞率要比固定信道分配方式低约0.3，比动态分配方式低约0.03。
|
如图\ref{fig:mu_6blk}所示，阻塞率会随着业务到达率的增大而增大，可用的信道数是固定的，随着到达率的增加，会有越来越多的用户因为信道被完全占用无法得到服务。本章方法在业务的持续时间固定时，在大多数的业务到达率情况下在阻塞率方面优于其他两种算法。例如在$\lambda = 60$时，本文算法的阻塞率要比固定信道分配方式低约0.3，比动态分配方式低约0.03。
|
||||||
|
|
||||||
在所有的到达率中，固定信道的分配方式的系统阻塞率都要高于其他两种方法。这是因为本次比较的信道分配算法使用的是四色复用的方式，每个波束能够使用的信道数量较其他两种方法小，动态新的分配方式可以通过灵活的配置满足新到达的业务从而能够降低整体的阻塞率。固定分配方式的与动态方法之间的差距随着到达率的增大先逐渐增大再减小，到达率较低时，所有算法的都能有效的分配信道，而随着到达率的增大，固定分配方式和动态分配方式先后到达阈值。本章的DRL算法在阻塞率方面都要优于贪心算法。这主要是因为贪心算法只考虑当前状态下系统的收益容易陷入到局部最优解，而通过DRL方法考虑了时域的关联性和累计的效率，能够更好地优化系统的性能。由于系统的带宽是固定的，阻塞率一定时能够服务用户数量可以一定程度上反映的系统的频谱效率与承载量，DRL算法能够在阻塞率在0.1时比固定分配算法提高2倍以上，相比贪心算法提升约4\%。这都表明DRL算法相比其他算法具有较高的频谱效率。
|
在所有的到达率中，固定信道的分配方式的系统阻塞率都要高于其他两种方法。这是因为本次比较的信道分配算法使用的是四色复用的方式，每个波束能够使用的信道数量较其他两种方法小，动态新的分配方式可以通过灵活的配置满足新到达的业务从而能够降低整体的阻塞率。固定分配方式与动态方法之间的差距随着到达率的增大先逐渐增大再减小，到达率较低时，所有算法都能有效分配信道，而随着到达率的增大，固定分配方式和动态分配方式先后到达阈值。本章的DRL算法在阻塞率方面都要优于贪心算法。这主要是因为贪心算法只考虑当前状态下系统的收益容易陷入到局部最优解，而通过DRL方法考虑了时域的关联性和累计的效率，能够更好地优化系统的性能。
|
||||||
|
从频谱效率上看，固定信道分配频谱效率相比其他动态方法更低，在较低到达率时，贪心与本章算法的频谱效率相近，在业务到达率较高时，本章算法明显领先贪心算法。
|
||||||
|
% 由于系统的带宽是固定的，阻塞率一定时能够服务用户数量可以一定程度上反映的系统的频谱效率与承载量，DRL算法能够在阻塞率在0.1时比固定分配算法提高2倍以上，相比贪心算法提升约4\%。这都表明DRL算法相比其他算法具有较高的频谱效率。
|
||||||
|
|
||||||
|
|
||||||
\textbf{（2） 业务的到达率固定的情况}
|
\textbf{（2） 业务的到达率固定的情况}
|
||||||
|
|
||||||
本接将分别在低业务量和高业务量情况下分别讨论业务持续时间对业务阻塞情况的变化。
|
本节将分别在低业务量和高业务量情况下分别讨论业务持续时间对业务阻塞情况和频谱效率的变化。
|
||||||
|
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
\includegraphics[width=0.7\textwidth]{chap/figures/mu_10.png}
|
\begin{subfigure}{0.45\textwidth}
|
||||||
|
|
||||||
|
\includegraphics[width=\textwidth]{chap/figures/mu_10.png}
|
||||||
|
\caption{阻塞率随$\mu$变化情况}
|
||||||
|
\label{fig:subfigurelowmu}
|
||||||
|
\end{subfigure}
|
||||||
|
\begin{subfigure}{0.45\textwidth}
|
||||||
|
|
||||||
|
\includegraphics[width=\textwidth]{chap/figures/mu_10_se.png}
|
||||||
|
\caption{频谱效率随$\mu$变化情况}
|
||||||
|
\label{fig:subfigurelowmuse}
|
||||||
|
\end{subfigure}
|
||||||
|
% \includegraphics[width=0.7\textwidth]{chap/figures/mu_10.png}
|
||||||
\caption{低业务量场景下系统的表现情况}
|
\caption{低业务量场景下系统的表现情况}
|
||||||
\label{fig:lamb10}
|
\label{fig:lamb10}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
如图\ref{fig:lamb10}所示，展示了低业务量场景（$\lambda = 20$）下各个算法的表现。同样地，随着业务持续时间的增加，各个算法的阻塞率都呈现出增加的趋势。从图中可以看出，当业务量较低时，两种动态资源分配算法都能够有效的降低系统的阻塞率，而固定分配方式的阻塞率要高于其他两种方法。在低业务量的场景下，DRL算法能够在业务平均持续时间更长的情况下保持较低的业务阻塞率和较高的业务呼通率，这表明在低频的业务量场景下，DRL算法能够有效的保障整个通信系统的性能。
|
如图\ref{fig:lamb10}所示，展示了低业务量场景（$\lambda = 20$）下各个算法的表现。同样地，随着业务持续时间的增加，各个算法的阻塞率都呈现出增加的趋势。从图中可以看出，当业务量较低时，两种动态资源分配算法都能够有效降低系统的阻塞率，而固定分配方式的阻塞率要高于其他两种方法。在低业务量的场景下，DRL算法能够在业务平均持续时间更长的情况下保持较低的业务阻塞率和较高的业务呼通率，这表明在低频的业务量场景下，DRL算法能够有效保障整个通信系统的性能。
|
||||||
|
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
|
\begin{subfigure}{0.45\textwidth}
|
||||||
|
|
||||||
|
\includegraphics[width=\textwidth]{chap/figures/lamb_90.png}
|
||||||
|
\caption{阻塞率随$\mu$变化情况}
|
||||||
|
\label{fig:subfigurelowmu}
|
||||||
|
\end{subfigure}
|
||||||
|
\begin{subfigure}{0.45\textwidth}
|
||||||
|
|
||||||
|
\includegraphics[width=\textwidth]{chap/figures/lamb_90_se.png}
|
||||||
|
\caption{频谱效率随$\mu$变化情况}
|
||||||
|
\label{fig:subfigurelowmuse}
|
||||||
|
\end{subfigure}
|
||||||
\includegraphics[width=0.7\textwidth]{chap/figures/lamb_90.png}
|
\includegraphics[width=0.7\textwidth]{chap/figures/lamb_90.png}
|
||||||
\caption{高业务量场景下系统的表现情况}
|
\caption{高业务量场景下系统的表现情况}
|
||||||
\label{fig:lamb90}
|
\label{fig:lamb90}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
而图\ref{fig:lamb90}反映出了高业务量场景下的情况。这张图反映出，在任何情况下固定信道分配的情况下都不如动态信道分配算法。在业务量较大的情况下，如果业务的持续时间较短，DRL算法相比贪心算法具有明显的优势，而随着业务平均持续时间的提高，由于系统的信道资源逐渐趋于饱和，两种动态信道分配方式的性能也逐渐趋同。
|
而图\ref{fig:lamb90}反映出了高业务量场景下的情况。这张图反映出，在任何情况下固定信道分配的情况下都不如动态信道分配算法。在业务量较大的情况下，如果业务的持续时间较短，DRL算法相比贪心算法具有明显的优势，而随着业务平均持续时间的提高，由于系统的信道资源逐渐趋于饱和，两种动态信道分配方式的性能也逐渐趋同。本章算法的频谱效率显著高于贪心算法。
|
||||||
\section{本章小结}
|
\section{本章小结}
|
||||||
% 本章基于深度强化学习领域的研究，提出了基于DQN的在低轨卫星通信下行链路中的多波束资源分配算法。本章首先详细分析了该场景下的序列决策问题，进而在分析问题的基础上提出了基于DQN的资源分配算法。本章首先对问题进行了数学建模，然后对状态空间进行了重构，接着详细介绍了DQN算法的原理和实现细节。最后通过仿真实验验证了本章提出的算法的有效性和性能。实验结果表明，本章提出的算法在低轨卫星通信场景下能够有效的降低系统的阻塞率，提高系统的频谱效率。
|
% 本章基于深度强化学习领域的研究，提出了基于DQN的在低轨卫星通信下行链路中的多波束资源分配算法。本章首先详细分析了该场景下的序列决策问题，进而在分析问题的基础上提出了基于DQN的资源分配算法。本章首先对问题进行了数学建模，然后对状态空间进行了重构，接着详细介绍了DQN算法的原理和实现细节。最后通过仿真实验验证了本章提出的算法的有效性和性能。实验结果表明，本章提出的算法在低轨卫星通信场景下能够有效的降低系统的阻塞率，提高系统的频谱效率。
|
||||||
|
|
||||||
本研究针对低轨卫星通信下行链路中的多波束资源分配问题，引入了深度强化学习中的DQN实现了动态信道分配算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本文设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法能有效减少系统阻塞率。
|
本研究针对低轨卫星通信下行链路中的多波束资源分配问题，引入了深度强化学习中的DQN实现了动态信道分配算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本文设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法能有效减少系统阻塞率，提高频谱效率。
|
||||||
|
|||||||
+15
-16
@@ -1,17 +1,17 @@
|
|||||||
\chapter{基于深度强化学习的跳波束算法研究}
|
\chapter{基于深度强化学习的跳波束算法研究}
|
||||||
|
|
||||||
\section{引言}
|
\section{引言}
|
||||||
对于多波束卫星，不同地区的覆盖会导致流量的空间分布不均匀，在某一个时间点亮部分活跃的波束，提供服务的跳波束机制是有效应对空间流量分布不均匀的方法。传统的方法解决跳波束问题多采用优化或者元启发算法。这些方法的主要问题是随着波束数量的增加、解空间会极速上升。而跳波束决策是一种典型的动态环境序列决策问题，可以采用深度强化学习的方法进行建模。但是单智能体DRL方法在面对巨大的解空间时求解困难，容易出现维度灾难，面对流量需求和波束的公平性存在权衡的问题。如果将波束视为智能体进行多智能体深度强化学习，又容易陷入局部解的问题。本文采取了一种折中的方法，通过结合单智能体和多智能体的方法，实现了一种基于深度强化学习的波束与信道联合分配的跳波束算法。
|
对于多波束卫星，不同地区的覆盖会导致流量的空间分布不均匀，在某一个时间点亮部分活跃的波束，提供服务的跳波束机制是有效应对空间流量分布不均匀的方法。传统的方法解决跳波束问题多采用优化或者元启发算法。这些方法的主要问题是随着波束数量的增加，解空间会快速增长。而跳波束决策是一种典型的动态环境序列决策问题，可以采用深度强化学习的方法进行建模。但是单智能体DRL方法在面对巨大的解空间时求解困难，容易出现维度灾难，面对流量需求和波束的公平性存在权衡的问题。如果将波束视为智能体进行多智能体深度强化学习，又容易陷入局部解的问题。本文采取了一种折中的方法，通过结合单智能体和多智能体的方法，实现了一种基于深度强化学习的波束与信道联合分配的跳波束算法。
|
||||||
\section{系统与问题建模}
|
\section{系统与问题建模}
|
||||||
\subsection{场景描述}
|
\subsection{场景描述}
|
||||||
本文考虑多波束卫星的下行链路，通过时分复用的形式，可以提供$K$个波束覆盖$N$个小区的用户（$K<N$）。在$t$时刻，不同的波束与小区之间的可以使用以下矩阵描述：
|
本文考虑多波束卫星的下行链路，通过时分复用的形式，可以提供$K$个波束覆盖$N$个小区的用户（$K<N$）。在$t$时刻，波束与小区的点亮关系可以使用以下矩阵描述：
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
\mathbf{X} = \{x_{k,n} | x_{k,n} \in {0,1},\sum_{n=1}^{N} = 1\}
|
\mathbf{X} = \{x_{k,n} | x_{k,n} \in {0,1},\sum_{n=1}^{N} x_{k,n}= 1\}
|
||||||
\label{eq:X_bh}
|
\label{eq:X_bh}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
|
|
||||||
|
|
||||||
在本章的假设中，每个小区的数据传输和业务请求通过数据包的形式表示，每个数据包大小均为$\varphi$bit，在一个时隙内产生多个不同业务数据包，请求符合参数为$\lambda_i$泊松分布。每个用户在$t$时刻请求服务，卫星系统通过星上业务缓存队列形成各个小区的业务队列，表示为$\Phi_{t,n} = \{\varphi_{1,n},\varphi_{2,n},\cdots, \varphi_{m, n}\}$。$T$为星上的缓存容量，星上缓存维护业务数据队列，超过时限还没有处理的业务数据将会丢弃。相应地，每个业务在被处理时，由于业务的到达时间和业务的处理时间不同产生排队延迟$\tau$。在$t$时刻，小区$n$的数据总需求为$d_{t,n} = \sum \Phi_{t, n}$。图\ref{fig:bh}展示了本章所示的跳波束系统模型。
|
在本章的假设中，每个小区的数据传输和业务请求通过数据包的形式表示，每个数据包大小均为$\varphi$比特，在一个时隙内产生多个不同业务数据包，请求符合参数为$\lambda_i$泊松分布。每个用户在$t$时刻请求服务，卫星系统通过星上业务缓存队列形成各个小区的业务队列，表示为$\Phi_{t,n} = \{\varphi_{1,n},\varphi_{2,n},\cdots, \varphi_{m, n}\}$。$T$为星上的缓存容量，星上缓存维护业务数据队列，超过时限还没有处理的业务数据将会丢弃。相应地，每个业务在被处理时，由于业务的到达时间和业务的处理时间不同产生排队延迟$\tau$。在$t$时刻，小区$n$的数据总需求为$d_{t,n} = \sum \Phi_{t, n}$。图\ref{fig:bh}展示了本章所示的跳波束系统模型。
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\includegraphics[width=0.85\textwidth]{chap/figures/bh.png}
|
\includegraphics[width=0.85\textwidth]{chap/figures/bh.png}
|
||||||
\caption{跳波束系统模型图}
|
\caption{跳波束系统模型图}
|
||||||
@@ -19,7 +19,7 @@
|
|||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
|
|
||||||
在本章使用的模型中，假设系统的总带宽为$B_{tot}$，可以被划分为$M$个不同的信道，每个信道的带宽为$B_{ch}$，在本文第二章的描述中，信道的分配是一个高维的信道分配矩阵，但在跳波束问题中，高维的信道分配矩阵会给问题带来额外的复杂度，为了简化由于信道分带来的复杂度，本章中的波束每次只能分配连续的信道使用，即可能的信道分配方式有$1+2+3+\cdots+M$种。图\ref{fig:bwpattern}展示了四个信道时系统的信道分配方式。
|
在本章使用的模型中，假设系统的总带宽为$B_{tot}$，可以被划分为$M$个不同的信道，每个信道的带宽为$B_{ch}$，在本文第二章的描述中，信道的分配是一个高维的信道分配矩阵，但在跳波束问题中，高维的信道分配矩阵会给问题带来额外的复杂度，为了简化由于信道分配带来的复杂度，本章中的波束每次只能分配连续的信道使用，即可能的信道分配方式有$1+2+3+\cdots+M$种。图\ref{fig:bwpattern}展示了四个信道时系统的信道分配方式。
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
\includegraphics[width=0.85\textwidth]{chap/figures/bwpattern.png}
|
\includegraphics[width=0.85\textwidth]{chap/figures/bwpattern.png}
|
||||||
@@ -45,18 +45,18 @@
|
|||||||
\label{fig:alphaij}
|
\label{fig:alphaij}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
波束$k$点亮小区$n$的增益为：
|
波束$k$点亮小区$n$的信道增益为：
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
h^{k,n} = G^k_t \cdot PL \cdot G^n_r
|
h^{k,n} = G^k_t \cdot PL \cdot G^n_r
|
||||||
\label{eq:hnks}
|
\label{eq:hnks}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
其中$G^k_t$为波束$k$的发射增益，$G^n_r$为小区$n$的接收增益，$PL$为信道损耗。波束$k$到小区$k$的
|
其中$G^k_t$为波束$k$的发射增益，$G^n_r$为小区$n$的接收增益，$PL$为信道损耗。波束$k$到小区$n$的
|
||||||
信干噪比为
|
信干噪比为
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
SINR_t^{n,k} = x_{n,k} \frac{P_{beam}h^{n,k}}{N_0|B_t^k|B_{ch} + \sum_{n'\neq n} P_{beam} \alpha^{k, i}h^{n',i}}
|
SINR_t^{n,k} = x_{n,k} \frac{P_{beam}h^{n,k}}{N_0|B_t^k|B_{ch} + \sum_{n'\neq n} P_{beam} \alpha^{k, i}h^{n',i}}
|
||||||
\label{eq:sinrbh}
|
\label{eq:sinrbh}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
其中$P_{beam}$为波束的发射功率，$N_0$为系统的噪声功率密度。根据香农公式， 可以计算出小区$n$的信道容量为：
|
其中$P_{beam}$为波束的发射功率，$N_0$为系统的噪声功率谱密度。根据香农公式， 可以计算出小区$n$的信道容量为：
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
C_t^n = \sum_k x_{n,k} |B_t^k|B_{ch} \log_2(1+SINR_t^{n,k}).
|
C_t^n = \sum_k x_{n,k} |B_t^k|B_{ch} \log_2(1+SINR_t^{n,k}).
|
||||||
\label{eq:Capch}
|
\label{eq:Capch}
|
||||||
@@ -68,7 +68,7 @@
|
|||||||
\label{eq:th}
|
\label{eq:th}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
\subsection{问题建模}
|
\subsection{问题建模}
|
||||||
在建立了跳波束的场景下，可以定义动态跳波束的优化问题。对于跳波束系统而言，其首要目标是在时变的小区数据传输需求下，最大化长期的总的数据吞吐量，同时为了保障系统中不同用户的Qos需要尽可能保障各小区业务的公平性，即最小化不同小区之间的业务延迟差异。对卫星而言，其长期吞吐量 可以写为
|
在建立了跳波束的场景下，可以定义动态跳波束的优化问题。对于跳波束系统而言，其首要目标是在时变的小区数据传输需求下，最大化长期的总的数据吞吐量，同时为了保障系统中不同用户的QoS需要尽可能保障各小区业务的公平性，即最小化不同小区之间的业务延迟差异。对卫星而言，其长期吞吐量 可以写为
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
Th_{tot} = \sum_{t=1}^{T} \sum_{n=1}^{N} Th_t^n
|
Th_{tot} = \sum_{t=1}^{T} \sum_{n=1}^{N} Th_t^n
|
||||||
\label{eq:thtotal}
|
\label{eq:thtotal}
|
||||||
@@ -92,7 +92,7 @@
|
|||||||
&\sum_k x_{n,k} = 1 \label{eq:xnkk} \\
|
&\sum_k x_{n,k} = 1 \label{eq:xnkk} \\
|
||||||
\end{align}
|
\end{align}
|
||||||
|
|
||||||
在此优化问题中，优化的目标是最大化系统的总体和最小化系统的延时极差，其中$\beta$为权重系数，$\beta$反映了对吞吐量和公平性的取舍，$\beta$越大意味着优化越倾向于最大化吞吐量，反之意味着最小化延时差。$Th_{max}$和$\Delta_{max}$为系统的最大吞吐量和最大极差。约束条件\ref{eq:pttt}为系统的总发射功率约束，约束条件\ref{eq:btot}为系统的总带宽约束，约束条件\ref{eq:xnkk}为波束分配约束。
|
在此优化问题中，优化的目标是最大化系统的总体吞吐量和最小化系统的延时极差，其中$\beta$为权重系数，$\beta$反映了对吞吐量和公平性的取舍，$\beta$越大意味着优化越倾向于最大化吞吐量，反之意味着倾向最小化延时差。$Th_{max}$和$\Delta_{max}$为系统的最大吞吐量和最大极差。约束条件\ref{eq:pttt}为系统的总发射功率约束，约束条件\ref{eq:btot}为系统的总带宽约束，约束条件\ref{eq:xnkk}为波束分配约束。
|
||||||
\section{基于深度强化学习的跳波束算法建模}
|
\section{基于深度强化学习的跳波束算法建模}
|
||||||
本节详细介绍本章关于动态跳波束问题的解决方法。首先描述了多目标深度强化学习算法的体系结构，包含了算法中的一些考虑，随后给出了状态空间、动作空间、奖励函数等的处理。
|
本节详细介绍本章关于动态跳波束问题的解决方法。首先描述了多目标深度强化学习算法的体系结构，包含了算法中的一些考虑，随后给出了状态空间、动作空间、奖励函数等的处理。
|
||||||
\subsection{马尔可夫过程构建}
|
\subsection{马尔可夫过程构建}
|
||||||
@@ -149,7 +149,7 @@
|
|||||||
\caption{多智能体强化学习框架}
|
\caption{多智能体强化学习框架}
|
||||||
\label{fig:multiagent}
|
\label{fig:multiagent}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
通常而言这种动作价值的输出是一维的数值，而在图\ref{fig:multiagent}的多智能体合作强化学习网络中，两个智能体的动作选择都是具有$K$个分量的高维向量。面对高维动作空间问题，文献\parencite{hu2020dynamic}采用的方法是通过循环的方式，连续进行$K$次决策：每次选择一个小区后，将该小区的数据需求量暂时更新为0，重复$K$次，执行的动作是$K$个动作的并集，$\vec{a} = \{a_1,a_2,\cdots,a_K\}$。这样做的缺点是系统需要更长的时间进行决策、并且会导致难以收敛。而文献\parencite{lin2022dynamic}采取的方式是将每个分量再次拆解为单独的智能体，即将每个波束视为单独的智能体，这样做大大简化了问题的复杂度，但是会导致智能体之间的合作性降低，容易陷入局部最优解。为了应对以上的问题，本文采用了一种折中的方法，即每一个智能体的Q网络在输出层通过多头分叉的方式输出多组不同的Q值，既能充分利用全局的状态信息，又能在一定程度上降低系统的复杂度。在更新时，本文对每个动作分量分别计算网络的误差，通过总误差求平均值获得网络的误差函数：
|
通常而言这种动作价值的输出是一维的数值，而在图\ref{fig:multiagent}的多智能体合作强化学习网络中，两个智能体的动作选择都是具有$K$个分量的高维向量。面对高维动作空间问题，文献\parencite{hu2020dynamic}采用的方法是通过循环的方式，连续进行$K$次决策：每次选择一个小区后，将该小区的数据需求量暂时更新为0，重复$K$次，执行的动作是$K$个动作的并集，$\vec{a} = \{a_1,a_2,\cdots,a_K\}$。这种方法的缺点是系统需要更长的时间进行决策且算法难以收敛。而文献\parencite{lin2022dynamic}采取的方式是将每个分量再次拆解为单独的智能体，即将每个波束视为单独的智能体，这样做大大简化了问题的复杂度，但是会导致智能体之间的合作性降低，容易陷入局部最优解。为了应对以上的问题，本文采用了一种折中的方法，即每一个智能体的Q网络在输出层通过多头分叉的方式输出多组不同的Q值，既能充分利用全局的状态信息，又能在一定程度上降低系统的复杂度。在更新时，本文对每个动作分量分别计算网络的误差，通过总误差求平均值获得网络的误差函数：
|
||||||
|
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
L(\theta) = \frac{1}{K} \sum_k \mathrm{E}[(r_t + \gamma \max Q(s_{t+1}, a'_{t+1,k}; \theta') - Q(s_t, a_{t,k}; \theta))^2]
|
L(\theta) = \frac{1}{K} \sum_k \mathrm{E}[(r_t + \gamma \max Q(s_{t+1}, a'_{t+1,k}; \theta') - Q(s_t, a_{t,k}; \theta))^2]
|
||||||
@@ -278,7 +278,7 @@
|
|||||||
|
|
||||||
\subsubsection{收敛性分析}
|
\subsubsection{收敛性分析}
|
||||||
根据此前的分析，在$\beta$取不同的值时会导致算法偏向不同的优化目标，$\beta$越大时，算法会更倾向于满足通信的需求，而$\beta$越小会更偏重于时延的公平性。
|
根据此前的分析，在$\beta$取不同的值时会导致算法偏向不同的优化目标，$\beta$越大时，算法会更倾向于满足通信的需求，而$\beta$越小会更偏重于时延的公平性。
|
||||||
本节对于不同的$beta$取值，分别进行了训练，如图\ref{fig:rwbeta}所示。从图中可以看出，在不同的$\beta$的取值下，本算法对于奖励函数都最终趋于平稳的数值，反映出算法在不同偏好下都具有一定的收敛性。由图中的奖励函数信息可以分析出，在，在$beta$取值较小时（0-0.2），奖励函数收敛性相比其他更慢，这说明为了为了实现时延的公平性，需要进行更多的探索，而其他取值则在4000轮次开始逐渐稳定。图\ref{fig:smooth}反映了$\beta = 0.5
|
本节对于不同的$\beta$取值，分别进行了训练，如图\ref{fig:rwbeta}所示。从图中可以看出，在不同的$\beta$的取值下，本算法对于奖励函数都最终趋于平稳的数值，反映出算法在不同偏好下都具有一定的收敛性。由图中的奖励函数信息可以分析出，在$\beta$取值较小时（0-0.2），奖励函数收敛性相比其他更慢，这说明为了实现时延的公平性，需要进行更多的探索，而其他取值则在4000轮次开始逐渐稳定。图\ref{fig:smooth}反映了$\beta = 0.5
|
||||||
$时，时延的收敛情况。
|
$时，时延的收敛情况。
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
@@ -300,7 +300,7 @@ $时，时延的收敛情况。
|
|||||||
\textbf{（1）不同$\beta$取值对系统性能的影响}
|
\textbf{（1）不同$\beta$取值对系统性能的影响}
|
||||||
|
|
||||||
|
|
||||||
根据收敛性分析，本章算法对于不同的$\beta$都具有一定的效果，但是不同的$\beta$对系统收敛性存在一定的影响。为了明确的说明算法的在不同取值下的性能，图\ref{fig:beta_delay}说明随着$\beta$的升高，时延的公平性逐渐变差，而系统总的吞吐量随之增加，这一结论与此前的讨论相同。
|
根据收敛性分析，本章算法对于不同的$\beta$都具有一定的效果，但是不同的$\beta$对系统收敛性存在一定的影响。为了明确说明算法在不同取值下的性能，图\ref{fig:beta_delay}说明随着$\beta$的升高，时延的公平性逐渐变差，而系统总的吞吐量随之增加，这一结论与此前的讨论相同。
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
\begin{subfigure}{0.45\textwidth}
|
\begin{subfigure}{0.45\textwidth}
|
||||||
@@ -329,8 +329,7 @@ $时，时延的收敛情况。
|
|||||||
\item 遗传算法\parencite{angeletti2006beam}：通过遗传算法这一启发式算法进行小区的点亮，在本次实现中种群数量选择为200，迭代次数为60次。
|
\item 遗传算法\parencite{angeletti2006beam}：通过遗传算法这一启发式算法进行小区的点亮，在本次实现中种群数量选择为200，迭代次数为60次。
|
||||||
\end{enumerate}
|
\end{enumerate}
|
||||||
|
|
||||||
在实验中，为了比较算法的长期表现，本文通过进行500次独立的实验，取平均值的操作进行。在每次实验中，通过控制小区不同的流量需求在\SI{50}{Mbps}到\SI{300}{Mbps}之间分布模拟流量需求的空间不均匀特性，通过控制流量的分布得到总的平均流量需求，每次实验包含200个决策时隙。图\ref{fig:allth}展示了不同算法在此场景下的比较结果，其中计算的吞吐量按照实际数据包数量计算，即如果卫星提供的吞吐量超过实际数据量，以实际数据为准。从实验结果不难看出，在较低的流量需求下如图低于\SI{2000}{Mbps}时，所有算法都能够基本满足用户的流量需求，在这种情况下所有波束的容量都要比流量需求大。而随着系统需求的增加，随机算法最早出现了瓶颈，周期算法、贪心算法则在\SI{2200}{Mbps}左右达到吞吐量的饱和值，这是由于频率复用方案所决定的。而本文算法与遗传算法则可以在保持
|
在实验中，为了比较算法的长期表现，本文通过进行500次独立的实验，取平均值的操作进行。在每次实验中，通过控制小区不同的流量需求在\SI{50}{Mbps}到\SI{300}{Mbps}之间分布模拟流量需求的空间不均匀特性，通过控制流量的分布得到总的平均流量需求，每次实验包含200个决策时隙。图\ref{fig:allth}展示了不同算法在此场景下的比较结果，其中计算的吞吐量按照实际数据包数量计算，即如果卫星提供的吞吐量超过实际数据量，以实际数据为准。从实验结果不难看出，在较低的流量需求下如图低于\SI{2000}{Mbps}时，所有算法都能够基本满足用户的流量需求，在这种情况下所有波束的容量都要比流量需求大。而随着系统需求的增加，随机算法最早出现了瓶颈，周期算法、贪心算法则在\SI{2200}{Mbps}左右达到吞吐量的饱和值，这是由频率复用方案所决定的。而本文算法与遗传算法则可以在流量需求达到\SI{3000}{Mbps}才接近饱和。
|
||||||
到流量需求为\SI{3000}{Mbps}。
|
|
||||||
|
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
@@ -342,7 +341,7 @@ $时，时延的收敛情况。
|
|||||||
\textbf{（3）在不同吞吐量需求下的时延公平性的表现}
|
\textbf{（3）在不同吞吐量需求下的时延公平性的表现}
|
||||||
|
|
||||||
|
|
||||||
在时延的公平性上，与吞吐量情况不同，各种算法的表现具有较大的差（图\ref{fig:alldl}）。随机算法在各种带宽需求上表现都比较差。周期算法在低业务需求时表现较好，随着业务需求的增加迅速升高。贪心算法总体表现较好，在业务需求区间内都保持着低于\SI{25}{ms}的水平。本章的算法总体上呈现出随着业务量增大而上升的状况，在中低业务需求的情况下，在保证时延的公平性上，具有较好的性能，在\SI{2300}{Mbps}的业务需求下，能够比贪心算法的公平性低25\%左右，而在较大吞吐量需求时，为了保证吞吐量，仍然能够控制时延公平性在\SI{30}{ms}以内的水平，考虑到本仿真中星上缓存为40个时隙，本算法在较高业务流量时仍然能够保证大部分业务的正常传输。遗传算法总体与本章的算法在时延公平性上表现接近。
|
在时延的公平性上，与吞吐量情况不同，各种算法的表现具有较大的差异（图\ref{fig:alldl}）。随机算法在各种带宽需求上表现都比较差。周期算法在低业务需求时表现较好，随着业务需求的增加迅速升高。贪心算法总体表现较好，在业务需求区间内公平性都保持着低于\SI{25}{ms}的水平。本章的算法总体上呈现出随着业务量增大而上升的状况，在中低业务需求的情况下，在保证时延的公平性上，具有较好的性能，在\SI{2300}{Mbps}的业务需求下，能够比贪心算法的公平性低25\%左右，而在较大吞吐量需求时，为了保证吞吐量，仍然能够控制时延公平性在\SI{30}{ms}以内的水平，考虑到本仿真中星上缓存为40个时隙，本算法在较高业务流量时仍然能够保证大部分业务的正常传输。遗传算法总体与本章的算法在时延公平性上表现接近。
|
||||||
|
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
|
|||||||
+3
-3
@@ -1,16 +1,16 @@
|
|||||||
\chapter{总结与展望}
|
\chapter{总结与展望}
|
||||||
\section{本文工作总结}
|
\section{本文工作总结}
|
||||||
近年来，卫星通信系统因具有覆盖范围广、组网灵活、不受地理环境和地形等因素影响等优点，在新一代移动通信系统中收到越来越多的关注。而随着卫星通信系统的发展，人们对卫星通信质量的要求越来越高，而可用于卫星通信的频谱资源却面临枯竭。在这种情况下，多种改进的资源分配算法逐渐被提出，能够有效提供多波束卫星的通信效率。同时，随着人工智能的快速发展，新兴的深度强化学习方法为卫星通信系统的资源分配提供了一条新思路。 在此背景下，本文针对卫星通信系统中存在的频谱效率低、流量时空分布不均等问题，研究了人工智能基础上的卫星资源分配方法。本文以资源分配中的信道分配和跳波束问题为出发点，研究了基于深度强化学习的信道分配算法和跳波束算，并进行了仿真分析。
|
近年来，卫星通信系统因具有覆盖范围广、组网灵活、不受地理环境和地形等因素影响等优点，在新一代移动通信系统中收到越来越多的关注。而随着卫星通信系统的发展，人们对卫星通信质量的要求越来越高，而可用于卫星通信的频谱资源却面临枯竭。在这种情况下，多种改进的资源分配算法逐渐被提出，能够有效提高多波束卫星的通信效率。同时，随着人工智能的快速发展，新兴的深度强化学习方法为卫星通信系统的资源分配提供了一条新思路。 在此背景下，本文针对卫星通信系统中存在的频谱效率低、流量时空分布不均等问题，研究了人工智能基础上的卫星资源分配方法。本文以资源分配中的信道分配和跳波束问题为出发点，研究了基于深度强化学习的信道分配算法和跳波束算法，并进行了仿真分析。
|
||||||
|
|
||||||
本文的主要工作归纳如下：
|
本文的主要工作归纳如下：
|
||||||
|
|
||||||
（1）文献调研分析，总结了卫星资源分配技术的研究与应用现状，分析了目前资源分配技术的研究方向和存在的问题，为本文的研究提供了理论基础。结合现有的卫星通信系统，建立起了卫星通信系统的架构模型，分析了使用深度强化学习方法进行资源分配研究的可行性。
|
（1）文献调研分析，总结了卫星资源分配技术的研究与应用现状，分析了目前资源分配技术的研究方向和存在的问题，为本文的研究提供了理论基础。结合现有的卫星通信系统，建立起了卫星通信系统的架构模型，分析了使用深度强化学习方法进行资源分配研究的可行性。
|
||||||
|
|
||||||
（2）针对低轨卫星通信信道分配问题中的阻塞率指标，引入了深度强化学习，通过将系统问题转化成马尔可夫决策过程，将系统分配问题转化为了图形特征，给出了系统的频率、功率等分配的限制与策略。仿真结果表明，与传统的按需分配相比，能够有效提高系统的频谱效率和用户的通信质量。
|
（2）针对低轨卫星通信信道分配问题中的阻塞率指标，引入了深度强化学习，通过将系统问题转化成马尔可夫决策过程，将系统分配问题转化为了图形特征，给出了系统的频率、功率等分配的限制与策略。仿真结果表明，与传统的按需分配相比，基于深度强化学习的策略能够有效提高系统的频谱效率和用户的通信质量。
|
||||||
|
|
||||||
（3）针对卫星通信跳波束资源分配问题中动作空间过大、吞吐量需求与公平性无法兼顾的问题，改进实现了一种多目标双智能体跳波束与信道联合分配方法，该方法结合了多目标优化与多智能体合作训练的方法，在复杂度与目标指标优化之间实现了兼顾。仿真结果表明，该方法相比随机算法、周期调度、贪心调度等能够有效提高系统的吞吐量，同时在一定程度上保证系统的公平性。同时与启发式搜索 相比，具有系统决策复杂度低，训练完成后无需根据环境变化重新构建等特点，相比遗传算法在吞吐量和公平性方面相差不大的情况下能够大大减少系统的决策时间，达到可用的程度。
|
（3）针对卫星通信跳波束资源分配问题中动作空间过大、吞吐量需求与公平性无法兼顾的问题，改进实现了一种多目标双智能体跳波束与信道联合分配方法，该方法结合了多目标优化与多智能体合作训练的方法，在复杂度与目标指标优化之间实现了兼顾。仿真结果表明，该方法相比随机算法、周期调度、贪心调度等能够有效提高系统的吞吐量，同时在一定程度上保证系统的公平性。同时与启发式搜索 相比，具有系统决策复杂度低，训练完成后无需根据环境变化重新构建等特点，相比遗传算法在吞吐量和公平性方面相差不大的情况下能够大大减少系统的决策时间，达到可用的程度。
|
||||||
|
|
||||||
|
|
||||||
\section{未来展望}
|
\section{未来展望}
|
||||||
|
|
||||||
动态资源管理技术作为卫星通信系统的关键技术，具有重要性意义。目前，深度强化学习在卫星通信系统中没有得到广泛应用的主要原因有：卫星通信系统的动作空间复杂，随着卫星系统容量的增加、计算复杂度增加，强化学习的实时性无法得到保证；其次是深度强化学习方法在空间通信系统中面临着数据环境复杂，噪声误差等存在偏差与仿真环境差异大等问题。面对以上问题，多智能体强化学习、知识蒸馏、网络参数了量化等方法值得进一步研究以用于减少深度强化学习的空间复杂。通过迁移学习和仿真环境相结合的训练机制，也能够降低系统数据的偏差。
|
动态资源管理技术作为卫星通信系统的关键技术，具有重要性意义。目前，深度强化学习在卫星通信系统中没有得到广泛应用的主要原因有：卫星通信系统的动作空间复杂，随着卫星系统容量的增加、计算复杂度增加，强化学习的实时性无法得到保证；其次是深度强化学习方法在空间通信系统中面临着数据环境复杂，噪声误差等存在偏差与仿真环境差异大等问题。面对以上问题，多智能体强化学习、知识蒸馏、网络参数量化等方法值得进一步研究以用于减少深度强化学习的空间复杂。通过迁移学习和仿真环境相结合的训练机制，也能够降低系统数据的偏差。
|
||||||
Binary file not shown.
|
Before Width: | Height: | Size: 150 KiB After Width: | Height: | Size: 146 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 481 KiB After Width: | Height: | Size: 481 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 31 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 31 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 32 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 120 KiB After Width: | Height: | Size: 120 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 20 KiB After Width: | Height: | Size: 93 KiB |
+3
-3
@@ -427,7 +427,7 @@ employing geostationary satellites },
|
|||||||
|
|
||||||
@article{刘刚2004卫星蜂窝通信系统中的点波束设计,
|
@article{刘刚2004卫星蜂窝通信系统中的点波束设计,
|
||||||
title={卫星蜂窝通信系统中的点波束设计},
|
title={卫星蜂窝通信系统中的点波束设计},
|
||||||
author={刘刚 and 吴诗其},
|
author={刘刚, 吴诗其},
|
||||||
journal={系统工程与电子技术},
|
journal={系统工程与电子技术},
|
||||||
volume={26},
|
volume={26},
|
||||||
number={2},
|
number={2},
|
||||||
@@ -475,7 +475,7 @@ employing geostationary satellites },
|
|||||||
|
|
||||||
@article{甘仲民2006卫星通信技术的新发展,
|
@article{甘仲民2006卫星通信技术的新发展,
|
||||||
title={卫星通信技术的新发展},
|
title={卫星通信技术的新发展},
|
||||||
author={甘仲民 and 张更新},
|
author={甘仲民, 张更新},
|
||||||
journal={通信学报},
|
journal={通信学报},
|
||||||
volume={8},
|
volume={8},
|
||||||
year={2006}
|
year={2006}
|
||||||
@@ -502,7 +502,7 @@ employing geostationary satellites },
|
|||||||
|
|
||||||
@article{刘召2019多波束卫星动态信道资源分配算法,
|
@article{刘召2019多波束卫星动态信道资源分配算法,
|
||||||
title={多波束卫星动态信道资源分配算法},
|
title={多波束卫星动态信道资源分配算法},
|
||||||
author={刘召 and 许珂},
|
author={刘召, 许珂},
|
||||||
journal={移动通信},
|
journal={移动通信},
|
||||||
volume={43},
|
volume={43},
|
||||||
number={5},
|
number={5},
|
||||||
|
|||||||
+3
-3
@@ -11,7 +11,7 @@
|
|||||||
% 调出。
|
% 调出。
|
||||||
|
|
||||||
% 如果格式审查提示字号不严格符合标准，可以在 [] 中加入“ugly”选项。
|
% 如果格式审查提示字号不严格符合标准，可以在 [] 中加入“ugly”选项。
|
||||||
\documentclass[UTF8, ugly]{pkuthss}
|
\documentclass[UTF8, ugly,openany]{pkuthss}
|
||||||
% 如果的确须要使脚注按页编号的话，可以去掉后面 footmisc 包的注释。
|
% 如果的确须要使脚注按页编号的话，可以去掉后面 footmisc 包的注释。
|
||||||
%\usepackage[perpage]{footmisc}
|
%\usepackage[perpage]{footmisc}
|
||||||
|
|
||||||
@@ -22,7 +22,7 @@
|
|||||||
% 若须在排序中实现更复杂的需求，请参考 biblatex-caspervector 的文档。
|
% 若须在排序中实现更复杂的需求，请参考 biblatex-caspervector 的文档。
|
||||||
% biblatex-caspervector 也有一个“ugly”选项，使其更像国标格式；此外也可考虑
|
% biblatex-caspervector 也有一个“ugly”选项，使其更像国标格式；此外也可考虑
|
||||||
% 改用 style = gb7714-2015 并去掉之后两选项，详见 biblatex-gb7714-2015 的文档。
|
% 改用 style = gb7714-2015 并去掉之后两选项，详见 biblatex-gb7714-2015 的文档。
|
||||||
\usepackage[backend = biber, style = caspervector, utf8, sorting = none]{biblatex}
|
\usepackage[backend = biber, style = caspervector, utf8, sorting = none, ugly]{biblatex}
|
||||||
\usepackage{booktabs}
|
\usepackage{booktabs}
|
||||||
\usepackage{tabularx}
|
\usepackage{tabularx}
|
||||||
\usepackage{siunitx}
|
\usepackage{siunitx}
|
||||||
@@ -89,7 +89,7 @@
|
|||||||
}
|
}
|
||||||
|
|
||||||
\RequirePackage{algorithm}
|
\RequirePackage{algorithm}
|
||||||
|
\hypersetup{hidelinks}
|
||||||
\makeatletter
|
\makeatletter
|
||||||
\newenvironment{breakablealgorithm}
|
\newenvironment{breakablealgorithm}
|
||||||
{% \begin{breakablealgorithm}
|
{% \begin{breakablealgorithm}
|
||||||
|
|||||||
@@ -0,0 +1,11 @@
|
|||||||
|
近年来随着卫星互联网、手机直连卫星快速发展，国际标准组织3GPP、ITU等机构已将卫星通信纳入第六代无线通信的重要组成部分，卫星通信将步入飞速发展的新阶段，星通信将会得到更深入的融合应用，卫星通信业务及用户数量等将迎来快速增长。传统频率复用、多波束技术等有效提升了卫星资源使用效率，但随着用户数量的增加和服务质量需求的多样化，业务在时间和空间上的分布不均问题变得更加突出，这对系统灵活高效地分配资源提出了更高的挑战。论文针对卫星通信中资源分配面临的新问题，结合目前广受关注的深度强化学习技术，在信道分配问题上利用神经网络发掘时空关联性，在跳波束问题上利用多智能体等技术解决跳波束问题中信道与波束点亮联合分配的问题。
|
||||||
|
|
||||||
|
本文首先介绍了多波束卫星通信系统的基本架构、卫星的信道传输特性以及马尔科夫决策过程和强化学习等技术，建立了基于深度强化学习的信道分配问题的基本场景与用户通信模型。为了保证用户的通信质量，以用户通信的阻塞率作为优化目标，设计了基于深度强化学习的动态信道分配算法。该算法通过状态转换将用户的地理位置描述为多通道图像，并基于卷积神经网络和深度Q网络进行求解，从而获得实时的信道分配策略。仿真结果表明，基于深度强化学习的信道分配算法相比其他算法，能够有效保证系统的接通率，提高频谱效率。
|
||||||
|
|
||||||
|
进一步针对跳波束应用下的信道分配，以优化通信吞吐量和时延的公平性为优化目标函数，建立起基于深度强化学习的跳波束与信道联合分配算法。该算法包含两个独立的深度Q网络，分别对波束点亮方案和信道分配方式进行优化，采用多头输出的方法解决了跳波束分配问题中空间复杂度过高的问题。仿真结果表明，与传统算法相比，该方法能有效提高系统的吞吐量，并且能够保证系统的时延公平性，同时相比遗传算法等启发式算法能够有效减少系统的决策时间，能够应对动态变化的通信环境。
|
||||||
|
|
||||||
|
In recent years, with the rapid development of satellite internet and direct-to-mobile satellite communications, international standard organizations such as 3GPP and ITU have incorporated satellite communications as an essential component of the sixth generation of wireless communications. Satellite communications are entering a new phase of rapid development. There will be a deeper integration and application of satellite communications, and the satellite communications industry, along with the number of users, will experience rapid growth. Traditional frequency reuse and multi-beam technologies have effectively improved the efficiency of satellite resource utilization. However, with the increase in the number of users and the diversification of service quality demands, the uneven distribution of services in time and space has become more prominent. This poses higher challenges for the system to allocate resources flexibly and efficiently. This paper addresses the new challenges in resource allocation in satellite communications, combining the widely focused deep reinforcement learning technology. It uses neural networks to explore spatio-temporal correlations in channel allocation problems and employs multi-agent technologies to solve the joint allocation of channels and beam illumination in hop-beam problems.
|
||||||
|
|
||||||
|
This paper first introduces the basic architecture of multi-beam satellite communication systems, the channel transmission characteristics of satellites, and technologies such as the Markov decision process and reinforcement learning. It establishes the basic scenario and user communication model for the channel allocation problem based on deep reinforcement learning. To ensure the quality of user communications, the user communication blockage rate is used as the optimization target. A dynamic channel allocation algorithm based on deep reinforcement learning is designed. This algorithm uses state transitions to describe the user's geographic location as a multi-channel image and solves it based on convolutional neural networks and deep Q-networks to obtain real-time channel allocation strategies. Simulation results show that the channel allocation algorithm based on deep reinforcement learning can effectively ensure the system's connectivity rate and improve spectral efficiency compared to other algorithms.
|
||||||
|
|
||||||
|
Further, for channel allocation under hop-beam applications, with the optimization of communication throughput and the fairness of delay as the optimization objective function, a hop-beam and channel joint allocation algorithm based on deep reinforcement learning is established. This algorithm contains two independent deep Q-networks, which optimize the beam illumination scheme and channel allocation method, respectively. It uses a multi-head output method to solve the problem of high spatial complexity in hop-beam allocation. Simulation results show that compared to traditional algorithms, this method can effectively improve the system's throughput and ensure the system's delay fairness. Compared to heuristic algorithms like genetic algorithms, it can significantly reduce the system's decision-making time and cope with dynamically changing communication environments.
|
||||||
Reference in New Issue
Block a user