v2.0ack
This commit is contained in:
Junior
+23
-10
@@ -2,27 +2,40 @@
|
|||||||
% Public domain.
|
% Public domain.
|
||||||
|
|
||||||
\begin{cabstract}
|
\begin{cabstract}
|
||||||
近些年随着卫星互联网、手机直连卫星以及第六代无线通信技术的发展，卫星通信的需求有了巨大的发展。目前，卫星多采用多波束以及频率复用等技术来应对巨大的通信需求
|
% 近些年随着卫星互联网、手机直连卫星以及第六代无线通信技术的发展，卫星通信的需求有了巨大的发展。目前，卫星多采用多波束以及频率复用等技术来应对巨大的通信需求
|
||||||
但受限于功率、频率等资源，卫星通信系统的资源分配问题变得愈发复杂。除此之外，卫星通信的业务存在着空间分布和时间分布不均匀，服务质量要求多样等特点，这要求寻找到一种有效的动态资源分配算法，提升卫星通信系统整体的资源利用率。
|
% 但受限于功率、频率等资源，卫星通信系统的资源分配问题变得愈发复杂。除此之外，卫星通信的业务存在着空间分布和时间分布不均匀，服务质量要求多样等特点，这要求寻找到一种有效的动态资源分配算法，提升卫星通信系统整体的资源利用率。
|
||||||
|
|
||||||
本文针对卫星通信系统中资源分配进行了研究，主要针对两个方面的问题，一个是考虑时空关联性的动态信道分配问题，另一个考虑卫星跳波束的动态规划问题。本文在研究方法主要与目前广受关注的深度强化学习技术相结合，在信道分配问题上利用神经网络发掘时空关联性，在跳波束问题上利用多智能体等技术解决跳波束问题信道与波束点亮联合分配的问题。
|
% 本文针对卫星通信系统中资源分配进行了研究，主要针对两个方面的问题，一个是考虑时空关联性的动态信道分配问题，另一个考虑卫星跳波束的动态规划问题。本文在研究方法主要与目前广受关注的深度强化学习技术相结合，在信道分配问题上利用神经网络发掘时空关联性，在跳波束问题上利用多智能体等技术解决跳波束问题信道与波束点亮联合分配的问题。
|
||||||
|
|
||||||
首先，本文概述了多波束卫星通信系统的基本架构、卫星的信道传输特性以及马尔科夫决策过程和强化学习等技术的基本知识。然后，建立起基于深度强化学习的信道分配问题的基本场景与用户通信模型。为了保证用户质量通信质量，设计一用户通信的阻塞率作为优化目标，设计了基于深度强化学习的动态信道分配算法。该算法以将用户的地理位置通过状态转换使用多通道的图片描述。通过基于卷积神经网络和深度Q网络的求解得到实时的信道分配策略。仿真结果表明，基于深度强化学习的信道分配算法相比其他算法，能够有效保证系统的接通率，提高频谱效率。
|
% 首先，本文概述了多波束卫星通信系统的基本架构、卫星的信道传输特性以及马尔科夫决策过程和强化学习等技术的基本知识。然后，建立起基于深度强化学习的信道分配问题的基本场景与用户通信模型。为了保证用户质量通信质量，设计一用户通信的阻塞率作为优化目标，设计了基于深度强化学习的动态信道分配算法。该算法以将用户的地理位置通过状态转换使用多通道的图片描述。通过基于卷积神经网络和深度Q网络的求解得到实时的信道分配策略。仿真结果表明，基于深度强化学习的信道分配算法相比其他算法，能够有效保证系统的接通率，提高频谱效率。
|
||||||
|
|
||||||
|
% 最后，针对跳波束问题，本文概述了跳波束卫星通信系统的前向链路模型，以优化通信吞吐量和时延的公平性为优化目标函数，建立起基于深度强化学习的跳波束与信道联合分配算法。该算法包含两个独立的深度Q网络，分别对波束点亮方案和信道分配方式进行优化，通过多头输出的方式解决跳波束分配问题中空间复杂度过高的问题。仿真结果表明，与传统算法相比，该方法能有效提高系统的吞吐量，并且能够保证系统的时延公平性，同时相比遗传算法等启发式算法能够有效减少系统的决策时间，能够应对动态变化的系统环境。
|
||||||
|
|
||||||
|
近年来随着卫星互联网、手机直连卫星快速发展，国际标准组织3GPP、ITU等将卫星通信纳入第六代无线通信中重要组成部分，卫星通信将步入飞速发展的新阶段，卫星通信将会得到更深入融合应用卫星通信业务及用户的将迎来快速增长。传统频率复用、多波束技术的有效提升了卫星资源使用效率，但随着用户数增多，服务质量要求多样，业务时、空分布不均匀性突出，对系统灵活高效资源分配提出了更高挑战。论文针对卫星通信中资源分配面临的新问题，结合目前广受关注的深度强化学习技术，在信道分配问题上利用神经网络发掘时空关联性，在跳波束问题上利用多智能体等技术解决跳波束问题信道与波束点亮联合分配的问题。
|
||||||
|
|
||||||
|
本文首先介绍了多波束卫星通信系统的基本架构、卫星的信道传输特性以及马尔科夫决策过程和强化学习等技术，建立了基于深度强化学习的信道分配问题的基本场景与用户通信模型。为了保证用户质量通信质量，以用户通信的阻塞率作为优化目标，设计了基于深度强化学习的动态信道分配算法。该算法以将用户的地理位置通过状态转换使用多通道的图片描述，通过基于卷积神经网络和深度Q网络的求解得到实时的信道分配策略。仿真结果表明，基于深度强化学习的信道分配算法相比其他算法，能够有效保证系统的接通率，提高频谱效率。
|
||||||
|
|
||||||
|
进一步针对跳波束应用下的信道分配，以优化通信吞吐量和时延的公平性为优化目标函数，建立起基于深度强化学习的跳波束与信道联合分配算法。该算法包含两个独立的深度Q网络，分别对波束点亮方案和信道分配方式进行优化，采用多头输出的方法解决了跳波束分配问题中空间复杂度过高的问题。仿真结果表明，与传统算法相比，该方法能有效提高系统的吞吐量，并且能够保证系统的时延公平性，同时相比遗传算法等启发式算法能够有效减少系统的决策时间，能够应对动态变化的通信环境。
|
||||||
|
|
||||||
最后，针对跳波束问题，本文概述了跳波束卫星通信系统的前向链路模型，以优化通信吞吐量和时延的公平性为优化目标函数，建立起基于深度强化学习的跳波束与信道联合分配算法。该算法包含两个独立的深度Q网络，分别对波束点亮方案和信道分配方式进行优化，通过多头输出的方式解决跳波束分配问题中空间复杂度过高的问题。仿真结果表明，与传统算法相比，该方法能有效提高系统的吞吐量，并且能够保证系统的时延公平性，同时相比遗传算法等启发式算法能够有效减少系统的决策时间，能够应对动态变化的系统环境。
|
|
||||||
\end{cabstract}
|
\end{cabstract}
|
||||||
|
|
||||||
\ifblind\begin{beabstract}\else\begin{eabstract}\fi
|
\ifblind\begin{beabstract}\else\begin{eabstract}\fi
|
||||||
|
|
||||||
In recent years, with the development of satellite internet, direct satellite connections for mobile phones, and sixth-generation wireless communication technologies, the demand for satellite communication has experienced significant growth. Currently, satellites often employ multiple techniques such as multi-beam and frequency reuse to meet the vast communication needs.
|
% In recent years, with the development of satellite internet, direct satellite connections for mobile phones, and sixth-generation wireless communication technologies, the demand for satellite communication has experienced significant growth. Currently, satellites often employ multiple techniques such as multi-beam and frequency reuse to meet the vast communication needs.
|
||||||
|
|
||||||
However, limited by resources such as power and frequency, the resource allocation problem in satellite communication systems has become increasingly complex. In addition, the services in satellite communication have characteristics like uneven spatial and temporal distribution and diverse quality of service requirements. This demands an effective dynamic resource allocation algorithm to enhance the overall resource utilization of satellite communication systems.
|
% However, limited by resources such as power and frequency, the resource allocation problem in satellite communication systems has become increasingly complex. In addition, the services in satellite communication have characteristics like uneven spatial and temporal distribution and diverse quality of service requirements. This demands an effective dynamic resource allocation algorithm to enhance the overall resource utilization of satellite communication systems.
|
||||||
|
|
||||||
This paper focuses on the resource allocation in satellite communication systems, mainly addressing two issues: one is the dynamic channel allocation problem considering spatiotemporal correlations, and the other is the dynamic planning problem for satellite beam hopping. The study primarily combines the currently popular deep reinforcement learning techniques, using neural networks to explore spatiotemporal correlations in channel allocation and multi-agent technologies to solve the joint allocation problem of channel and beam lighting in the beam hopping issue.
|
% This paper focuses on the resource allocation in satellite communication systems, mainly addressing two issues: one is the dynamic channel allocation problem considering spatiotemporal correlations, and the other is the dynamic planning problem for satellite beam hopping. The study primarily combines the currently popular deep reinforcement learning techniques, using neural networks to explore spatiotemporal correlations in channel allocation and multi-agent technologies to solve the joint allocation problem of channel and beam lighting in the beam hopping issue.
|
||||||
|
|
||||||
First, this paper outlines the basic architecture of multi-beam satellite communication systems, the channel transmission characteristics of satellites, and the fundamental knowledge of Markov decision processes and reinforcement learning. Then, it establishes the basic scenario and user communication model for the channel allocation problem based on deep reinforcement learning. To ensure the quality of user communication, the user communication blocking rate is designed as the optimization objective, and a dynamic channel allocation algorithm based on deep reinforcement learning is developed. This algorithm describes the user's geographic location through state transitions using multi-channel images. The real-time channel allocation strategy is obtained through solutions based on convolutional neural networks and deep Q networks. Simulation results show that the channel allocation algorithm based on deep reinforcement learning can effectively ensure the system's connection rate and improve spectral efficiency compared to other algorithms.
|
% First, this paper outlines the basic architecture of multi-beam satellite communication systems, the channel transmission characteristics of satellites, and the fundamental knowledge of Markov decision processes and reinforcement learning. Then, it establishes the basic scenario and user communication model for the channel allocation problem based on deep reinforcement learning. To ensure the quality of user communication, the user communication blocking rate is designed as the optimization objective, and a dynamic channel allocation algorithm based on deep reinforcement learning is developed. This algorithm describes the user's geographic location through state transitions using multi-channel images. The real-time channel allocation strategy is obtained through solutions based on convolutional neural networks and deep Q networks. Simulation results show that the channel allocation algorithm based on deep reinforcement learning can effectively ensure the system's connection rate and improve spectral efficiency compared to other algorithms.
|
||||||
|
|
||||||
Finally, for the beam hopping issue, this paper outlines the forward link model of the beam hopping satellite communication system and establishes the joint allocation algorithm for beam hopping and channels based on deep reinforcement learning, with the optimization of communication throughput and fairness of delay as the objective function. This algorithm contains two independent deep Q networks, optimizing the beam lighting scheme and channel allocation method, respectively, and solves the problem of high spatial complexity in beam hopping allocation using multi-head output. Simulation results indicate that compared to traditional algorithms, this method can effectively improve the system's throughput and ensure the fairness of system delay. Compared to heuristic algorithms like genetic algorithms, it can significantly reduce the system's decision time, enabling it to cope with dynamically changing environments.
|
% Finally, for the beam hopping issue, this paper outlines the forward link model of the beam hopping satellite communication system and establishes the joint allocation algorithm for beam hopping and channels based on deep reinforcement learning, with the optimization of communication throughput and fairness of delay as the objective function. This algorithm contains two independent deep Q networks, optimizing the beam lighting scheme and channel allocation method, respectively, and solves the problem of high spatial complexity in beam hopping allocation using multi-head output. Simulation results indicate that compared to traditional algorithms, this method can effectively improve the system's throughput and ensure the fairness of system delay. Compared to heuristic algorithms like genetic algorithms, it can significantly reduce the system's decision time, enabling it to cope with dynamically changing environments.
|
||||||
|
|
||||||
|
In recent years, with the rapid development of satellite internet and direct satellite connections via mobile phones, international standard organizations such as 3GPP and ITU have incorporated satellite communications into the sixth generation of wireless communications as a key component. Satellite communications are entering a phase of rapid development and will see deeper integration and application, leading to rapid growth in satellite communication services and users. Traditional frequency reuse and multi-beam technologies have effectively improved the utilization efficiency of satellite resources. However, as the number of users increases and service quality demands become more diverse, with prominent temporal and spatial distribution imbalances, the need for flexible and efficient resource allocation systems has become more challenging. This paper addresses the new issues faced in resource allocation in satellite communications, utilizing the widely discussed deep reinforcement learning technology. Neural networks are used to explore spatiotemporal correlations in channel allocation, and multi-agent techniques are employed to address joint channel and beam allocation in the beam-hopping problem.
|
||||||
|
|
||||||
|
Firstly, the paper introduces the basic architecture of multi-beam satellite communication systems, the channel transmission characteristics of satellites, as well as Markov decision processes and reinforcement learning techniques. It establishes the basic scenarios and user communication models for the channel allocation problem based on deep reinforcement learning. To ensure the quality of user communication, the blocking rate of user communication is used as the optimization target, and a dynamic channel allocation algorithm based on deep reinforcement learning is designed. This algorithm uses the geographic location of users described through state transitions using multi-channel images, and real-time channel allocation strategies are obtained through convolutional neural networks and deep Q-networks. Simulation results show that the channel allocation algorithm based on deep reinforcement learning can effectively ensure system connectivity and improve spectral efficiency compared to other algorithms.
|
||||||
|
|
||||||
|
Furthermore, for channel allocation in beam-hopping applications, the optimization of communication throughput and delay fairness is used as the objective function. A joint allocation algorithm of beam-hopping and channels based on deep reinforcement learning is established. This algorithm includes two independent deep Q-networks that optimize the beam-lighting scheme and channel allocation method, respectively. It employs a multi-head output method to address the high spatial complexity in beam-hopping allocation. Simulation results indicate that compared to traditional algorithms, this method can effectively increase system throughput, ensure delay fairness, and significantly reduce decision-making time compared to heuristic algorithms like genetic algorithms, making it capable of handling dynamically changing communication environments.
|
||||||
\ifblind\end{beabstract}\else\end{eabstract}\fi
|
\ifblind\end{beabstract}\else\end{eabstract}\fi
|
||||||
|
|
||||||
% vim:ts=4:sw=4
|
% vim:ts=4:sw=4
|
||||||
|
|||||||
+12
-1
@@ -2,5 +2,16 @@
|
|||||||
% Public domain.
|
% Public domain.
|
||||||
|
|
||||||
\chapter{致谢}
|
\chapter{致谢}
|
||||||
这里是致谢
|
行文至此，我的硕士研究生学习阶段也即将结束。转眼间，这已经是我在北京大学度过的第八个年头。当年初入燕园的欣喜和惶恐尚在，而今我也将结束研究生的生涯。回首往事，本科五个年头是老师教会我如何去读书，而过去三年的研究生生活，则是身边的良师益友们告诉我如何开展具体的工作、探究具体的问题。在这里向研究生期间给予我帮助和知道的人们表示衷心的感谢。
|
||||||
|
|
||||||
|
教诲如春风，师恩似海深。首先，我要向我的导师刘爱民老师致以最深的谢意。刘老师不断给学生们提供优良的科研环境，在我处于困难时期时给予关怀和鼓励，让我多次从低谷中成长起来。您给予我的帮助与支持无比巨大难以用言语尽数表达。在即将离开实验室之际，回望过去，我深感惭愧，自己未能做得更好。同时，我也要感谢吕国成老师对我的毕业论文写作过程中的诸多帮助，您的建议让我对卫星通信的理解更加深刻，您不仅慷慨地分享科研方法和工程项目经验，更在日常生活中给予我诸多实用的建议与无私的帮助。感谢金野老师、冯梅萍老师、董明科老师、依那老师、程宇新老师。从科研工作到论文撰写，从课程学习到校园生活，都离不开几位老师的关心和都知道。金老师渊博的学识和豁达的态度让我终身受益。冯老师始终如慈母搬关心我的工作、生活和学习。董老师平易近人，乐于为每一个学生提供力所能及的帮助。依老师幽默风趣话语总能化解科研的辛苦。程老师作为班主任，给予了我们渡过特殊时期的力量。感谢刘阳老师和赵伊丽老师的支持和帮助。
|
||||||
|
|
||||||
|
感谢北京大学电子学院的王一涵老师、商小琦老师、赵紫青老师、丁雪芹老师和贾小月老师，在我研究生阶段的学习、工作、求职等方面给予了我各种帮助和指导。感谢马黎黎老师、李子奇老师、付晓倩老师和北京大学信息科学技术学院2020级1班的全体同学们，让我能够在学习工作之余帮助更多的人。感谢厦门九华通信设备厂北研一部的段中雄、侯丁楠、刘焜、高冰、孙浩、成维、杜博帆等等，感谢各位在实验室对我的关照。
|
||||||
|
|
||||||
|
感谢我的同学们，在三年的学习生活中，我们在学习上互帮互助，从彼此身上学到了很多。感谢我的室友沈翔、刘森、田凯元，三年舍友情，一生好兄弟。感谢实验室的家人们，感谢赵梅惠师姐和金怡丰师兄在我论文选题时对我的帮助，感谢田孜孜和田昀在我生活、学习和科研中的帮助。感谢李旭坤、陈希凡、张博嘉、范皓年、杨飒、乔泽雨、武晨宇、丁建睿、冯璐高泽、何翊卓、汪俊、葛非、江行健、陈泓至、刘尔琪、葛尊铭等师弟师妹们。
|
||||||
|
|
||||||
|
最后，感谢我的家人，感谢一直以来的陪伴。
|
||||||
|
|
||||||
|
再次衷心感谢所有帮助过我的人。
|
||||||
|
|
||||||
% vim:ts=4:sw=4
|
% vim:ts=4:sw=4
|
||||||
|
|||||||
+27
-20
@@ -8,43 +8,47 @@
|
|||||||
卫星通信系统是一种使用卫星作为中继的通信系统，自美国发射第一颗商用卫星后，卫星通信取得了巨大的成就，彻底改变了人类的生产和生活方式。卫星通信的发展突破了传统的移动通话与短信等业务，呈现出两大发展趋势：空天地多终端一体化网络与巨型卫星星座。
|
卫星通信系统是一种使用卫星作为中继的通信系统，自美国发射第一颗商用卫星后，卫星通信取得了巨大的成就，彻底改变了人类的生产和生活方式。卫星通信的发展突破了传统的移动通话与短信等业务，呈现出两大发展趋势：空天地多终端一体化网络与巨型卫星星座。
|
||||||
|
|
||||||
第5代移动通信系统（5th gerneration mobile networks, 5G）是继4G（LTE、LTE-A、WiMAX
|
第5代移动通信系统（5th gerneration mobile networks, 5G）是继4G（LTE、LTE-A、WiMAX
|
||||||
-A）系统后提出的最新一代移动通信系统，其标准化阶段已经基本完成，目标是提供高速率、低延时、低成本、大容量以及海量连接设备的端到端通信解决方案。5G的大规模商用化正在有序的推进，能够为用户提供高质量的通信服务。但是，受限于不同国家不同的基建情况、地理环境状况以及经济发展水平，截止到2023年末，仍有大量的地区无法接入5G网络甚至接入互联网，世界上仍有34亿人口仍然没有接入移动互联网，而这其中，有90\%的人口已经处于移动网络覆盖的范围内，但这些网络却无法接入移动互联网\supercite{GSMA-2024}。与此同时，以虚拟现实（Virtual Reality，VR）和增强现实（Advanced Reality，AR）为主的现实扩展服务、物联网、脑机接口等新兴的服务产生的数据需求已经远远地超过了当前5G网络所能支持的范围。而在这一背景下，卫星通信系统具有以下特点：
|
-A）系统后提出的最新一代移动通信系统，其标准化阶段已经基本完成，目标是提供高速率、低延时、低成本、大容量以及海量连接设备的端到端通信解决方案。5G的大规模商用化正在有序的推进，能够为用户提供高质量的通信服务。但是，受限于不同国家的基建情况、地理环境状况以及经济发展水平差异，截止到2023年末，仍有大量的地区无法接入5G网络甚至接入互联网，世界上仍有34亿人口没有接入移动互联网，而这其中，有90\%的人口已经处于移动网络覆盖的范围内，但这些网络却无法接入移动互联网\supercite{GSMA-2024}。与此同时，以虚拟现实（Virtual Reality，VR）和增强现实（Advanced Reality，AR）为主的现实扩展服务、物联网、脑机接口等新兴的服务产生的数据需求已经远远地超过了当前5G网络所能支持的范围。而在这一背景下，卫星通信系统具有以下特点：
|
||||||
\begin{itemize}
|
\begin{itemize}
|
||||||
\item 覆盖范围广，受地形影响小。通过卫星的中继，可以覆盖到全球所有地域的用户，包括一些人迹罕至、缺乏地面基础设施建设条件的区域。
|
\item 覆盖范围广，受地形影响小。通过卫星的中继，可以覆盖到全球所有地域的用户，包括一些人迹罕至、缺乏地面基础设施建设条件的区域。
|
||||||
\item 组网灵活。卫星通信系统具有高度的灵活性与可调整性，卫星组网可以根据特定的应用需求和环境的变化进行配置的优化，实现多种运营模式。
|
\item 组网灵活。卫星通信系统具有高度的灵活性与可调整性，卫星组网可以根据特定的应用需求和环境的变化进行配置的优化，实现多种运营模式。
|
||||||
\item 较低的延迟与成本。
|
\item 较低的延迟与成本。
|
||||||
\end{itemize}
|
\end{itemize}
|
||||||
这些特征使得卫星通信系统成为地面移动通信系统的有力补充和扩展\supercite{bai2018multi}。在5G通信网络大规模部署的背景之下，第六代移动通信系统（6th gerneration mobile networks，6G）将视野更多地转向了卫星通信系统这一蓝海。传统的天基卫星通信系统与地面蜂窝网络系统长期各自独立发展，系统之间存在较大的互通成本与差异。各国的相关研究机构与商业组织都曾经探索过多种形式和多种方式的手机与卫星的天地网络一体化方式\supercite{laursen2023no}，但直到2022年，苹果公司推出了能够直接使用卫星通信服务的iPhone14系列手机设备，地面移动蜂窝通信系统与天基卫星通信系统的一体化进程才取得实际上的进展。但是苹果公司使用的GLobalStar公司提供的卫星通信系统只支持紧急状态下的双向通信，不支持语音通信。2023年下半年，随着华为公司的Mate 60Pro系列的问世，我国成功
|
这些特征使得卫星通信系统成为地面移动通信系统的有力补充和扩展\supercite{bai2018multi}。在5G通信网络大规模部署的背景之下，第六代移动通信系统（6th gerneration mobile networks，6G）将视野更多地转向了卫星通信系统这一蓝海。传统的天基卫星通信系统与地面蜂窝网络系统长期独立发展，系统之间存在较大的互通成本与差异。各国的相关研究机构与商业组织都曾经探索过多种形式和多种方式的手机与卫星的天地网络一体化方式\supercite{laursen2023no}，但直到2022年，苹果公司推出了能够直接使用卫星通信服务的iPhone14系列手机设备，地面移动蜂窝通信系统与天基卫星通信系统的一体化进程才取得实际上的进展。但是苹果公司使用的GLobalStar公司提供的卫星通信系统只支持紧急状态下的双向通信，不支持语音通信。2023年下半年，随着华为公司的Mate 60Pro系列的问世，我国成功
|
||||||
生产出全球首款同时支持卫星电话、短信与地面移动通信的大众消费级智能手机终端产品，这些都证明了手机直连卫星技术上的可行性。
|
生产出全球首款同时支持卫星电话、短信与地面移动通信的大众消费级智能手机终端产品，这些都证明了手机直连卫星技术与市场的的可行性。
|
||||||
|
|
||||||
卫星通信系统作为卫星通信的中继，根据与地球的距离和轨道的高低可以划分为同步轨道卫星、中轨道卫星以及地轨道卫星三种。近些年来，相较于中轨和高轨的卫星通信系统，低轨卫星通信系统由于具有延时更小、更高的速率和更轻量化与小型化的特点，逐渐成为了全球各国在卫星通信互联网与6G通信领域争夺的主要焦点（表\ref{tab:leos}）。以2016年11月15日美国SpaceX公司宣布StarLink计划的开展为标志\supercite{mcdowell2020low}，以大规模低轨卫星星座为主要载体的卫星通信互联网如雨后春笋般迅速发展起来。
|
卫星作为卫星通信的中继，根据与地球的距离和轨道的高低可以划分为同步轨道卫星、中轨道卫星以及地轨道卫星三种\supercite{wxtxxt}。近些年来，相较于中轨和高轨的卫星通信系统，低轨卫星通信系统由于具有延时更小、更高的速率和终端更加轻量化与小型化的特点，逐渐成为了全球各国在卫星通信互联网与6G通信领域争夺的主要焦点（表\ref{tab:leos}）。以2016年11月15日美国SpaceX公司宣布StarLink计划的开展为标志\supercite{mcdowell2020low}，以大规模低轨卫星星座为主要载体的卫星通信互联网如雨后春笋般迅速发展起来。
|
||||||
|
|
||||||
随着全球各国争夺卫星频段与轨道的竞争愈发激烈，我国也在加速低轨卫星互联网的建设布局。我国的星座建设在自2021年中国星网组建以来逐步走向了由国家统一协调、统筹频段与轨道的资源分配规划，充分发挥了我国集中力量办大事制度优越性。
|
随着全球各国争夺卫星频段与轨道的竞争愈发激烈，我国也在加速低轨卫星互联网的建设布局。我国的星座建设在自2021年中国星网组建以来逐步走向了由国家统一协调、统筹频段与轨道的资源分配规划，充分发挥了我国集中力量办大事制度优越性。
|
||||||
|
|
||||||
\begin{table}[hbpt]
|
\begin{table}[hbpt]
|
||||||
\caption{部分国家规划的卫星互联网计划}
|
\caption{部分卫星互联网星座计划}
|
||||||
\centering
|
\centering
|
||||||
\label{tab:leos}
|
\label{tab:leos}
|
||||||
\begin{tabular}{cccccc}
|
\begin{tabular}{cccccc}
|
||||||
\toprule
|
\toprule
|
||||||
国家 & 星座名称 & 规划数量 & 预计建成时间 & 轨道 & 频段 \\
|
国家 & 星座名称 & 星座卫星数量 & 预计建成时间 & 规划轨道高度 & 规划使用频段 \\
|
||||||
\midrule
|
\midrule
|
||||||
|
加拿大 & LightSpeed\supercite{jansson2022telesat} & 298 & - & 1248km & Ka \\
|
||||||
|
|
||||||
|
美国 & Kuiper\supercite{osoro2021techno} & 3236 & - & 590-530km & Ka \\
|
||||||
|
|
||||||
美国 & StarLink & 11926 & 2027 & 1130km & Ku/Ka/V \\
|
美国 & StarLink & 11926 & 2027 & 1130km & Ku/Ka/V \\
|
||||||
美国 & NGSO\supercite{leyva2022ngso} & 2956 & - & 1200km & V \\
|
美国 & NGSO\supercite{leyva2022ngso} & 2956 & - & 1200km & V \\
|
||||||
美国 & Kuiper\supercite{osoro2021techno} & 3236 & - & 590-530km & Ka \\
|
|
||||||
英国 & OneWeb\supercite{henri2020oneweb} & 1280 & 2029 & 1200km & Ku/Ka \\
|
英国 & OneWeb\supercite{henri2020oneweb} & 1280 & 2029 & 1200km & Ku/Ka \\
|
||||||
加拿大 & LightSpeed\supercite{jansson2022telesat} & 298 & - & 1248km & Ka \\
|
|
||||||
\bottomrule
|
\bottomrule
|
||||||
\end{tabular}
|
\end{tabular}
|
||||||
\end{table}
|
\end{table}
|
||||||
|
|
||||||
尽管卫星通信网络的不受地形限制，并且具有较低的成本和广阔的地域覆盖能力，但是考虑到卫星通信的较长的链路距离、较大的传播时延以及星上资源的有限性等问题，当前的卫星通信仍具有很大的挑战。现有的卫星通信系统为了兼顾广阔的覆盖范围与较高的卫星天线增益，通常采用多波束卫星的技术。多波束卫星系统的通过频率复用的形式提高系统的带宽容量，提升频谱的利用率\supercite{jia2018interbeam}。但多波束卫星的使用与频率复用的机制带来了波束之间的同频干扰（Co-Channel Interference\supercite{yang2003co}，CCI）等影响。在这样的背景下，以如何有效的针对用户需求进行星上资源的分配与调控，为用户实现即时可靠的数据通信服务具有重要的理论意义与现实意义。传统的卫星通信系统在考虑同频干扰情况下，多波束卫星的资源分配是一个NP-Hard（non-deterministic polynomial-time hardness，非确定性多项式时间困难\supercite{garey1974some}）问题\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}，这表明解决卫星资源分配问题难以在一个限定的多项式时间内稳定找到最优解，解决这一问题的时间消耗较大，寻找到某种较低复杂度的算法实现星上资源分配的优化是一个亟待解决的问题。
|
尽管卫星通信网络的不受地形限制，并且具有较低的成本和广阔的地域覆盖能力，但是考虑到卫星通信的较长的链路距离、较大的传播时延以及星上资源的有限性等问题，当前的卫星通信仍有很大的问题亟待解决。现有的卫星通信系统为了兼顾广阔的覆盖范围与较高的卫星天线增益，通常采用多波束卫星的技术。多波束卫星系统的通过频率复用的形式提高系统的带宽容量，提升频谱的利用率\supercite{jia2018interbeam}。但多波束卫星的使用与频率复用的机制带来了波束之间的同频干扰（Co-Channel Interference\supercite{yang2003co}，CCI）等影响。在这样的背景下，以如何有效的针对用户需求进行星上资源的分配与调控，为用户实现即时可靠的数据通信服务具有重要的理论意义与现实意义。传统的卫星通信系统在考虑同频干扰情况下，资源分配是一个NP-Hard（non-deterministic polynomial-time hardness，非确定性多项式时间困难\supercite{garey1974some}）问题\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}，这表明解决卫星资源分配问题难以在一个限定的多项式时间内稳定找到最优解，解决这一问题的时间消耗较大，寻找到某种较低复杂度的算法实现星上资源分配的优化是一个亟待解决的问题。
|
||||||
|
|
||||||
% 近年来，伴随着AlphaGo、ChatGPT等人工智能应用的出现，为解决这一问题提供了一条可行的路线。人工智能技术通过利用计算机技术的形式模拟人类的某些智能行为和过程，例如学习、推理等。随着强化学习技术在以ChatGPT为代表的生成式人工智能大模型中被广泛应用，掀起了新一代人工智能技术的新浪潮。强化学习（Reinforcement Learing, RL）是机器学习中除了监督学习和非监督学习之外的另一种基本机器学习方式，强化学习不需要预先做好标签的输入与输出对，其主要关注在对未知知识的探索和利用已有知识的平衡，是一种探索-学习-重复探索的过程，具有通过自我学习环境与过往经验提高处理问题能力的特点，在视频游戏、机器人控制、预测决策等领域有着广泛应用。
|
% 近年来，伴随着AlphaGo、ChatGPT等人工智能应用的出现，为解决这一问题提供了一条可行的路线。人工智能技术通过利用计算机技术的形式模拟人类的某些智能行为和过程，例如学习、推理等。随着强化学习技术在以ChatGPT为代表的生成式人工智能大模型中被广泛应用，掀起了新一代人工智能技术的新浪潮。强化学习（Reinforcement Learing, RL）是机器学习中除了监督学习和非监督学习之外的另一种基本机器学习方式，强化学习不需要预先做好标签的输入与输出对，其主要关注在对未知知识的探索和利用已有知识的平衡，是一种探索-学习-重复探索的过程，具有通过自我学习环境与过往经验提高处理问题能力的特点，在视频游戏、机器人控制、预测决策等领域有着广泛应用。
|
||||||
|
|
||||||
近年来，随着人工智能应用如AlphaGo、ChatGPT等的出现，为解决诸多问题提供了新的思路和方法。人工智能技术通过模拟人类的智能行为和过程，如学习、推理等，利用计算机技术的手段实现了以前难以想象的任务。特别是强化学习技术在生成式人工智能大模型中的广泛应用，如ChatGPT等，引领了新一轮人工智能技术的发展浪潮。
|
近年来，随着人工智能应用如AlphaGo、ChatGPT等的出现，为解决诸多问题提供了新的思路和方法。人工智能技术通过模拟人类的智能行为和过程，如学习、推理等，利用计算机技术的手段实现了以前难以想象的任务。特别是强化学习技术在生成式人工智能大模型中的广泛应用，如ChatGPT等，引领了新一轮人工智能技术的发展浪潮。
|
||||||
|
|
||||||
强化学习（Reinforcement Learning, RL）\supercite{russell2016artificial}作为机器学习的一种基本方式，与监督学习和非监督学习相辅相成。与监督学习不同，强化学习不需要预先提供标记好的输入输出对，而是专注于在未知知识的探索和已有知识的利用之间寻找平衡。它是一种不断探索、学习和重复实践的过程，能够通过自我学习环境和过往经验来提高问题处理能力。因此，在视频游戏、机器人控制、预测决策等领域得到了广泛应用。
|
强化学习（Reinforcement Learning, RL）\supercite{russell2016artificial}作为机器学习的一种基本方式，与监督学习和非监督学习相辅相成。与监督学习不同，强化学习不需要预先提供标记好的输入输出对，而是专注于在未知知识的探索和已有知识的利用之间寻找平衡。它是一种不断探索、学习和重复实践的过程，能够与环境互动形成历史经验，进而从中学习到环境的消息与知识，提高处理环境中问题的能力。
|
||||||
|
正因如此，强化学习方法在复杂环境中的决策问题研究中取得广泛应用，例如视频游戏AI、机器人控制、棋牌类问题博弈等。
|
||||||
|
% 因此，在视频游戏、机器人控制、预测决策等领域得到了广泛应用。
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
\includegraphics[width=0.45\textwidth]{chap/figures/rlgame.png}
|
\includegraphics[width=0.45\textwidth]{chap/figures/rlgame.png}
|
||||||
@@ -53,29 +57,31 @@
|
|||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
|
|
||||||
强化学习的技术源于行为主义心理学理论（Behaviorism Theory）中试错学习，同时与控制领域中的最优控制理论、近似动态规划（Approximate Dynamic Programming，ADP）等合流形成\supercite{kaelbling1996reinforcement}\supercite{russell2016artificial}\supercite{sutton2018reinforcement}。试错学习的思想就是动物或其他智能体通过反复的过程完成学习，动物出于某种动机采取一定的行动，在采取行动后能够得到某种刺激，刺激与实现动机的行动之间产生映射关系，正面的刺激会强化采取该行为的期望，而负面的刺激会削弱采取行为的期望，为了实现动机就会重复采取行动从而实现最终的目标\supercite{morales2012introduction}。强化学习的基本思想就是模拟生物的这种为了适应环境而进行进化的过程，自主地学会如何在环境中采取行动，以获得最大的奖励\supercite{周碧莹2019基于强化学习的卫星网络资源调度机制}。
|
强化学习的技术源于行为主义心理学理论（Behaviorism Theory）中的试错学习\supercite{张汝波2000强化学习理论}，同时与控制领域中的最优控制理论、近似动态规划（Approximate Dynamic Programming，ADP）等合流形成\supercite{kaelbling1996reinforcement}\supercite{russell2016artificial}\supercite{sutton2018reinforcement}。试错学习的思想就是动物或其他智能体通过反复的过程完成学习，动物出于某种动机采取一定的行动，在采取行动后能够得到某种刺激，刺激与实现动机的行动之间产生映射关系，正面的刺激会强化采取该行为的期望，而负面的刺激会削弱采取行为的期望，为了实现动机就会重复采取行动从而实现最终的目标\supercite{morales2012introduction}。强化学习的基本思想就是模拟生物的这种为了适应环境而进行进化的过程\supercite{周碧莹2019基于强化学习的卫星网络资源调度机制}，自主地学会如何在环境中采取行动，以获得最大的奖励。
|
||||||
|
|
||||||
相较于无监督学习和有监督学习，强化学习的方法更加灵活。在无监督学习和有监督学习中，解决问题需要明确定义问题和解决问题的模式。而在强化学习中，更多地关注确定可以采取的行动，而不需要明确规定如何执行这些行动。通过不断地尝试和错误，强化学习系统可以自主学习并逐步优化其行动策略，最终达到最优解。
|
相较于无监督学习和有监督学习，强化学习的方法更加灵活。在无监督学习和有监督学习中，解决问题需要明确定义问题和解决问题的模式\supercite{russell2016artificial}。而在强化学习中，更多地关注确定可以采取的行动，而不需要明确规定如何执行这些行动。通过不断地尝试和错误，强化学习系统可以自主学习并逐步优化其行动策略，最终达到最优解。
|
||||||
|
|
||||||
强化学习在优化决策、解决问题等方面具有广泛的应用，例如棋牌对弈、机器人模拟等。值得注意的是，强化学习与卫星通信系统的星上资源分配问题具有一定的相似性。在卫星通信系统中，卫星根据不同的业务申请需求、流量需求、资源分配情况，为每个用户提供相应的资源分配。分配完成后，根据资源分配的结果得到相应的反馈信息，优化全局的决策策略。在这样的环境下，强化学习可以被视为一种有效的方法，通过不断地学习和调整，来实现资源分配的最优化。
|
强化学习在优化决策、解决问题等方面具有广泛的应用，例如棋牌对弈、机器人模拟等。值得注意的是，强化学习与卫星通信系统的星上资源分配问题具有一定的相似性。在卫星通信系统中，卫星根据不同的业务申请需求、流量需求、资源分配情况，为每个用户提供相应的资源分配。分配完成后，根据资源分配的结果得到相应的反馈信息，优化全局的决策策略。在这样的环境下，强化学习可以被视为一种有效的方法，通过不断地学习和调整，来实现资源分配的最优化。
|
||||||
|
|
||||||
\section{研究现状}
|
\section{研究现状}
|
||||||
|
|
||||||
在人工智能技术发展迅速的当今，对卫星资源分配的有关研究也主要分为了两大类别：一是传统的卫星资源分配与调度算法的研究，另一种是基于人工智能技术的资源分配算法。
|
% 一是传统的卫星资源分配与调度算法的研究，另一种是基于人工智能技术的资源分配算法。
|
||||||
|
|
||||||
|
|
||||||
% 这里应该有固定分配算法的东西
|
% 这里应该有固定分配算法的东西
|
||||||
|
|
||||||
相比于传统固定分配算法，注重频谱和能量效率的资源分配策略一直是卫星通信系统以及地面卫星通信系统的主要研究方向，在无线通信系统中能量效率和频谱效率被视为一个多目标优化问题\supercite{7093179}。在地面通信系统中，关于多输入多输出通信系统（Multi-Input Multi-Output, MIMO）\supercite{tse2005fundamentals}中关于能量效率和频谱效率的优化关系已经有了比较全面讨论与诠释\supercite{heliot2012energy}，\supercite{xiong2011energy}对采用了正交频分复用多址（Orthogonal frequency division multiple access, OFDMA）\supercite{tse2005fundamentals}的无线通信系统两者之间的权衡进行了讨论。在卫星通信系统中，这一方面的研究更为重要，围绕着有限的功率、频谱、缓存等资源，有多种动态资源优化算法提出。
|
% 相比于传统固定分配算法，
|
||||||
|
|
||||||
在不考虑共频干扰时使用拉格朗日乘数法可以很好地实现基于的波束上流量需求进行动态功率的分配算法\supercite{choi2005optimum}。考虑CCI之后，解决资源分配优化问题经常使用的例如拉格朗日对偶法等求解困难，\supercite{wang2014optimization}尝试在使用拉格朗日对偶法解决引入CCI的多波束卫星系统功率分配问题，求解效率低下，而且随着波束数目的增加，无法获得确切的求解表达式。随后，为了降低算法复杂度，遗传算法（Genetic Algorithm, GA）、模拟退火（Simulated Annealing, SA）等启发式搜索算法被应用到多波束卫星系统的功率分配中。这些算法一定程度上实现了最大化系统容量和最小化系统功率之间的权衡。
|
注重频谱和能量效率的资源分配策略一直是卫星通信系统以及地面卫星通信系统的主要研究方向，在无线通信系统中能量效率和频谱效率被视为一个多目标优化问题\supercite{7093179}。在地面通信系统中，关于多输入多输出通信系统（Multi-Input Multi-Output, MIMO）\supercite{tse2005fundamentals}中关于能量效率和频谱效率的优化关系已经有了比较全面讨论与诠释\supercite{heliot2012energy}，\supercite{xiong2011energy}对采用了正交频分复用多址（Orthogonal frequency division multiple access, OFDMA）\supercite{tse2005fundamentals}的无线通信系统两者之间的权衡进行了讨论。在卫星通信系统中，这一方面的研究更为重要，围绕着有限的功率、频谱、缓存等资源，有多种动态资源优化算法提出。
|
||||||
|
|
||||||
卫星的载荷资源主要是通过分配星上的发射功率资源以及的分配频率资源，而频率资源分配又可以进一步细分为时分复用的时隙分配和频分复用的信道资源分配。多波束卫星系统中最传统的资源分配算法是固定资源分配，各个波束和小区得到的资源分配是较为固定的，通过四色复用、七色复用等形式，实现波束之间的固定信道分配，但是随着低轨卫星系统的发展，多波束系统的波束覆盖随着时间的变化会有较大的流量波动，不同波束之间流量需求差异大、变化快，固定信道分配方式无法适应当前卫星通信发展的新趋势。动态信道分配技术能够允许系统的各个波束任意、灵活地选择系统的可用信道，通过改变载波等的分配，灵活匹配了来自各个小区的通信需求，提高整个系统的性能。基于特定设计的两个代价函数，文献\supercite{del1995efficient}提出了一种动态信道分配算法，这一算法相比固定信道分配算法有效提高了系统的接通率，但是存在着业务场景缺少动态变化并且算法的计算复杂度仍然较高的问题，与当前快速发展的大规模低轨卫星星座系统不适应。随着系统波束数目的增加，传统的动态信道分配算法也陷入了算法复杂度高的问题，为了应对这些挑战，\supercite{umehira2012centralized}提出了复杂度较低的算法方法，这些都在追求系统频谱效率与用户公平性的统一。
|
在不考虑共频干扰时使用拉格朗日乘数法可以很好地实现基于的波束上流量需求进行动态功率的分配算法\supercite{choi2005optimum}。考虑CCI之后，解决资源分配优化问题经常使用的例如拉格朗日对偶法等求解困难，\supercite{wang2014optimization}尝试在使用拉格朗日对偶法解决引入CCI的多波束卫星系统功率分配问题，求解效率低下，而且随着波束数目的增加，无法获得确切的求解表达式。随后，为了降低算法复杂度，遗传算法（Genetic Algorithm, GA）\supercite{booker1989classifier}、模拟退火算法（Simulated Annealing, SA）\supercite{陈华根2004模拟退火算法机理研究}等启发式搜索算法被应用到多波束卫星系统的功率分配中。这些算法一定程度上实现了最大化系统容量和最小化系统功率之间的权衡。
|
||||||
|
|
||||||
近些年来，“跳波束（动态波束跳跃，Dynamic Beam Hopping）”技术的提出也是动态资源分配的研究范围之一。通过时分复用的思想，将系统的时间划分为多个不同时隙，每个时隙都有一部分小区被点亮提供数据传输服务，跳波束的本质是根据时变的流量需求在地理空间分布上的变化动态地调整服务的区域，传统的方法存在两点不足之处\supercite{唐斯琪2023深度强化学习在天基信息网络中的应用}：解空间会随着波束数量的上升以阶乘的方式的增长；流量需求分布发生变化时，需要重新建模迭代求解。文献\supercite{liu2013max}提出了流量最大最小速率控制调度法，但该问题只能实现单目标的优化无法保证不同波束之间的业务公平性。文献\supercite{han2015qos}使用长期时延统计的方法进行波束调度，能够在满足吞吐量的同时兼顾部分公平性问题。文献\supercite{angeletti2006beam}提出了使用遗传算法指定波束调度计划的方式，但是每次决策都需要重新迭代在面对实时流量需求力不从心。
|
卫星的载荷资源主要是分配星上的发射功率资源以及的分配频率资源，而频率资源分配又可以进一步细分为时分复用的时隙分配和频分复用的信道资源分配。多波束卫星系统中最传统的资源分配算法是固定资源分配，各个波束和小区得到的资源分配是较为固定的，通过四色复用、七色复用等形式，实现波束之间的固定信道分配，但是随着低轨卫星系统的发展，多波束系统的波束覆盖随着时间的变化会有较大的流量波动，不同波束之间流量需求差异大、变化快，固定信道分配方式无法适应当前卫星通信发展的新趋势。动态信道分配技术能够允许系统的各个波束任意、灵活地选择系统的可用信道，通过改变载波等的分配，灵活匹配了来自各个小区的通信需求，提高整个系统的性能\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。基于特定设计的两个代价函数，文献\supercite{del1995efficient}提出了一种动态信道分配算法，这一算法相比固定信道分配算法有效提高了系统的接通率，但是存在着业务场景缺少动态变化并且算法的计算复杂度仍然较高的问题，与当前快速发展的大规模低轨卫星星座系统不适应。随着系统波束数目的增加，传统的动态信道分配算法也陷入了算法复杂度高的问题，为了应对这些挑战，\supercite{umehira2012centralized}提出了复杂度较低的算法方法，这些都在追求系统频谱效率与用户公平性的统一。
|
||||||
|
|
||||||
|
近些年来，“跳波束（动态波束跳跃，Dynamic Beam Hopping）”技术也是动态资源分配的热门研究领域。通过时分复用的思想，将系统的时间划分为多个不同时隙，每个时隙都有一部分小区被点亮提供数据传输服务，跳波束的本质是根据时变的流量需求在地理空间分布上的变化动态地调整服务的区域，传统的方法存在两点不足之处\supercite{唐斯琪2023深度强化学习在天基信息网络中的应用}：解空间会随着波束数量的上升以阶乘的方式的增长；流量需求分布发生变化时，需要重新建模迭代求解。文献\supercite{liu2013max}提出了流量最大最小速率控制调度法，但该问题只能实现单目标的优化无法保证不同波束之间的业务公平性。文献\supercite{han2015qos}使用长期时延统计的方法进行波束调度，能够在满足吞吐量的同时兼顾部分公平性问题。文献\supercite{angeletti2006beam}提出了使用遗传算法指定波束调度计划的方式，但是每次决策都需要重新迭代，在流量空间分布迅速变化时，性能迅速下降。
|
||||||
|
|
||||||
|
|
||||||
人工智能技术的发展引起了大家的广泛关注，人工智能和机器学习等已经在多个不同的研究领域内被证明是解决复杂问题的有效方法。脱胎于强化学习方法的深度强化学习（Deep Reinforcement Learning，DRL）在解决通信系统资源分配问题上已经获得理论与实践上的支持，例如无线蜂窝通信系统的资源分配等。基于DRL方法的卫星系统资源优化问题中也有了一定的应用，这种线下训练、线上部署运行的无模型方法在许多问题上证明了其有效性。表\ref{tab:drlresearch}给出了目前的研究中将卫星通信与深度强化学习相结合的部分研究领域。文献\parencite{liu2018deep}提出了将DRL技术应用到卫星资源分配领域的基本框架，通过将地面用户的业务需求转换为张量的形式建立起同步轨道卫星多波束卫星资源分配基本思路。文献\parencite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}使用多目标优化的方式进行功率、信道等的分配，文献\parencite{luis2019deep}提出了使用连续的状态空间与动作空间的DRL学习架构避免了需求的离散化。现有使用DRL进行动态资源管理的方法多聚焦于同步轨道卫星资源的动态分配，对于低轨卫星而言其具有较高的运动速度，资源状况与同步轨道卫星资源差距较大。在跳波束问题上，文献\parencite{hu2020dynamic}提出了使用DRL解决跳波束决策的问题，为了解决算法空间维度较高的问题，文章给出了双环多步骤决策方法，但是该方法由于增加了多重决策步骤，实时决策时间表现差。\parencite{lin2022dynamic}使用了多智能体独立决策、限制信道分配的方式简化了动作空间，提高了决策效率，但是多智能体会占用更多的资源进行决策，也使得动作容易陷入局部最优解的状况。
|
人工智能技术的发展引起了大家的广泛关注，人工智能和机器学习等已经在多个不同的研究领域内被证明是解决复杂问题的有效方法。脱胎于强化学习方法的深度强化学习（Deep Reinforcement Learning，DRL）在解决通信系统资源分配问题上已经获得理论与实践上的支持，例如无线蜂窝通信系统的资源分配\supercite{xiong2019deep}等。基于DRL方法的卫星系统资源优化算法也有了一定的研究，这种线下训练、线上部署运行的无模型方法在许多问题上证明了其有效性。表\ref{tab:drlresearch}给出了目前的研究中将卫星通信与深度强化学习相结合的部分研究领域。文献\parencite{liu2018deep}提出了将DRL技术应用到卫星资源分配领域的基本框架，通过将地面用户的业务需求转换为多维张量的形式建立起同步轨道卫星多波束卫星资源分配基本思路。文献\parencite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}使用多目标优化的方式进行信道的分配以实现功率和用户满意度的多目标优化，文献\parencite{luis2019deep}提出了使用连续的状态空间与动作空间的DRL学习架构避免了需求的离散化。现有使用DRL进行动态资源管理的方法多聚焦于同步轨道卫星资源的动态分配，在此假设下卫星面对的环境相对变化不大。在跳波束问题上，文献\parencite{hu2020dynamic}提出了使用DRL解决跳波束决策的问题，为了解决算法空间维度较高的问题，文章给出了双环多步骤决策方法，但是该方法由于增加了多重决策步骤，实时决策时间表现差。\parencite{lin2022dynamic}使用了多智能体独立决策、限制信道分配的方式简化了动作空间，提高了决策效率，但是多智能体会占用更多的资源进行决策，也使得分配结果易陷入局部最优解的状况。
|
||||||
|
|
||||||
\begin{table}
|
\begin{table}
|
||||||
\centering
|
\centering
|
||||||
@@ -98,7 +104,8 @@
|
|||||||
|
|
||||||
|
|
||||||
|
|
||||||
综上所述，国内外已经有了众多关于多波束卫星动态资源的研究，从研究路径上看，从传统的拉格朗日对偶法，到经典的遗传算法等启发式搜索算法，再到人工智能领域的算法，但现有基于人工智能的算法仍然存在着一些不适应问题，值得有待深一步的研究。
|
% 综上所述，国内外已经有了众多关于多波束卫星动态资源的研究，从研究路径上看，从传统凸优化理论中的拉格朗日对偶法，到经典的遗传算法等启发式搜索算法，再到人工智能领域的算法，但现有基于人工智能的算法仍然存在着一些不适应问题例如算法复杂度、决策实时性等，值得有待深一步的研究。
|
||||||
|
综上所述，国内外已经有了众多关于多波束动态资源分配的研究，总结来看主要有以下三种方法：基于传统凸优化理论方法例如注水算法\supercite{he2013water}、拉格朗日对偶法；基于元启发算法的搜索算法如模拟退火、遗传算法等；基于人工智能领域的算法如深度强化学习等。现有人工智能算法仍然存在着一些问题，例如算法的复杂度较高、决策的实时性较差等问题，值得进一步研究。
|
||||||
% 在传统的算法领域，通常而言面对卫星有限的星上资源的特点，优化功率、频谱等分配都是卫星通信研究的热点领域，而功率和频谱效率优化相关的研究也是地面无线通信系统的重要课题。在地面无线通信领域方面的研究已经比较充分了。
|
% 在传统的算法领域，通常而言面对卫星有限的星上资源的特点，优化功率、频谱等分配都是卫星通信研究的热点领域，而功率和频谱效率优化相关的研究也是地面无线通信系统的重要课题。在地面无线通信领域方面的研究已经比较充分了。
|
||||||
|
|
||||||
|
|
||||||
@@ -118,7 +125,7 @@
|
|||||||
第一章为绪论。首先阐释了卫星通信系统的现状，研究卫星通信系统中动态资源分配的意义。然后是调研国内外对于卫星资源分配技术以及人工智能应用于该领域的研究现状，明确了研究内容。
|
第一章为绪论。首先阐释了卫星通信系统的现状，研究卫星通信系统中动态资源分配的意义。然后是调研国内外对于卫星资源分配技术以及人工智能应用于该领域的研究现状，明确了研究内容。
|
||||||
|
|
||||||
|
|
||||||
第二章为多波束卫星系统以及强化学技术的相关介绍。首先是对多波束卫星通信系统进行了介绍，主要介绍了卫星通信系统的架构、多波束天线、卫星的链路损耗与链路特征、波束间频率复用技术，为之后的系统模型建立理论基础。其次，本章介绍了启发式算法和强化学习的基本原理、概念和特征，对本文中使用的强化学习方法进具体的介绍和分析。
|
第二章为多波束卫星系统以及强化学习技术的相关介绍。首先是介绍了卫星通信系统的架构、多波束天线的模型、卫星的链路损耗与空间传输模型、波束间频率复用技术，为之后的系统模型建立理论基础。其次，本章介绍了序列决策和强化学习的基本原理、概念和特征，对本文中使用的强化学习方法进具体的介绍和分析。
|
||||||
|
|
||||||
第三章是基于深度强化学习的低轨卫星信道分配算法。首先主要介绍了本文所提出的算法的基本应用场景，并对用户的业务需求场景、卫星的信道分配问题进行了详细的介绍和分析建模。以此为基础，详细介绍了提出的算法实现细节，包括算法的状态空间、动作空间、奖励函数等机制。
|
第三章是基于深度强化学习的低轨卫星信道分配算法。首先主要介绍了本文所提出的算法的基本应用场景，并对用户的业务需求场景、卫星的信道分配问题进行了详细的介绍和分析建模。以此为基础，详细介绍了提出的算法实现细节，包括算法的状态空间、动作空间、奖励函数等机制。
|
||||||
|
|
||||||
|
|||||||
+25
-25
@@ -3,7 +3,7 @@
|
|||||||
|
|
||||||
\chapter{多波束卫星系统概述}% 中文测试文字。
|
\chapter{多波束卫星系统概述}% 中文测试文字。
|
||||||
\section{引言}
|
\section{引言}
|
||||||
多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及能够满足越来越大的系统容量需求等特点，正在受到更加广泛的关注和研究\supercite{甘仲民2006卫星通信技术的新发展}。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国在民用手机直连卫星领域广泛发展的天通系统，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quatinty of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。
|
多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及巨大的系统容量等特点，正在受到更加广泛的关注和研究\supercite{甘仲民2006卫星通信技术的新发展}。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国可用于手机的天通系统\supercite{纪明星2018天通一号卫星移动通信系统市场及应用分析}，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quatinty of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。
|
||||||
|
|
||||||
基于多波束卫星的资源分配问题，本章将介绍多波束卫星通信系统的基础知识背景，首先将简要地介绍多波束卫星系统的基本构成，对多波束卫星系统常用的技术进行整理归纳；之后，本文将讨论卫星通信系统中必不可少的空间传输特性；最后，本章将对本文中使用到的序列决策模型和深度学习技术进行介绍。
|
基于多波束卫星的资源分配问题，本章将介绍多波束卫星通信系统的基础知识背景，首先将简要地介绍多波束卫星系统的基本构成，对多波束卫星系统常用的技术进行整理归纳；之后，本文将讨论卫星通信系统中必不可少的空间传输特性；最后，本章将对本文中使用到的序列决策模型和深度学习技术进行介绍。
|
||||||
\section{多波束卫星系统主要结构}
|
\section{多波束卫星系统主要结构}
|
||||||
@@ -20,7 +20,7 @@
|
|||||||
\subsection{波束与频率复用}
|
\subsection{波束与频率复用}
|
||||||
|
|
||||||
|
|
||||||
如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出地面蜂窝通信系统类似的蜂窝状结构\supercite{刘刚2004卫星蜂窝通信系统中的点波束设计}。根据公式\ref{eq:gain_alpha},波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡等特征。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。而跳波束卫星则搭载了跳波束控制器，将数据流分发给地面上不同的波位实现通信\supercite{etsi2005digital}。
|
如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出与地面蜂窝通信系统类似的蜂窝状结构\supercite{刘刚2004卫星蜂窝通信系统中的点波束设计}。根据式\ref{eq:gain_alpha},波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。而跳波束卫星则搭载了跳波束控制器，将数据流分发给地面上不同的波位实现通信\supercite{etsi2005digital}。
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
@@ -46,7 +46,7 @@
|
|||||||
\label{fig:fourcolor}
|
\label{fig:fourcolor}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
不同方案的频率复用方式能够带来不同的频谱效率（定义为单位带宽上的信道容量），图\ref{fig:freqency_efficient}分析了在卫星发射功率一定、波束间功率相等的情况下，不同$N$的频率复用方案中频谱效率在不考虑共频干扰情况下随着波束数量的关系的变化图。相比而言，采用多波束频率复用方案的情况下，频谱效率随着波束数量的增加而增加，在波束数量相同的情况下，频率复用程度越高，效率也就越高。但随着频谱复用程度的提高，同频干扰的程度也会增加，在星上有效载荷有限的情况下，在面对不同波束用户需求的场景下，如何合理动态的分配频率资源实现用户QoS与频谱效率的平衡，是本文的研究重点。
|
不同方案的频率复用方式能够带来不同的频谱效率（定义为单位带宽上的信道容量），图\ref{fig:freqency_efficient}分析了在卫星发射功率一定、波束间功率相等的情况下，不同$N$的频率复用方案中频谱效率在不考虑同频干扰情况下随着波束数量的关系的变化图。相比而言，采用多波束频率复用方案的情况下，频谱效率随着波束数量的增加而增加，在波束数量相同的情况下，频率复用程度越高，效率也就越高。但随着频谱复用程度的提高，同频干扰的程度也会增加，在星上有效载荷有限的情况下，在面对不同波束用户需求的场景下，如何合理动态的分配频率资源实现用户QoS与频谱效率的平衡，是本文的研究重点。
|
||||||
|
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
@@ -57,7 +57,7 @@
|
|||||||
|
|
||||||
\subsection{跳波束模型}
|
\subsection{跳波束模型}
|
||||||
|
|
||||||
跳波束的模型可以使用图\ref{fig:bhh}所描述，通过时隙窗口的分配结果决定各个波束在哪些时隙内工作以及各个时隙内哪些波束同时工作\supercite{panthi2017beam}。
|
跳波束的模型可以使用图\ref{fig:bhh}所描述，每个时隙窗口进行一次波束分配，时隙窗口的分配结果决定各个波束的工作区域\supercite{panthi2017beam}。
|
||||||
|
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\begin{small}
|
\begin{small}
|
||||||
@@ -78,7 +78,7 @@
|
|||||||
\section{空间传输特性}
|
\section{空间传输特性}
|
||||||
|
|
||||||
\subsection{天线增益}
|
\subsection{天线增益}
|
||||||
卫星使用天线进行上行信号的接收和下行信号的发射，并且实现对信道的放大处理。多波束天线主要包括了多波束相控阵天线、多波束透镜天线以及反射面天线等三种。反射面天线常用于同步轨道的卫星通信系统，透镜天线则应用较少\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。相控阵天线在多波束卫星通信系统中有着越来越广泛的应用，包括StarLink在内的近地轨道卫星全球互联网接入服务都是用了有源相控阵天线技术为了为用户提供技术服务。多波束卫星的相控阵卫星天线有多个相同的天线元间距均匀排列而成，通过波束形成网络激励生成所需要的不同形状的相互独立的波束，对波束的数目等进行灵活的配置与管理。下面以多波束天线为例，给出多波束卫星天线的传输模型。
|
卫星使用天线进行上行信号的接收和下行信号的发射，并且实现对信道的放大处理。多波束天线主要包括了多波束相控阵天线、多波束透镜天线以及反射面天线等三种。反射面天线常用于同步轨道的卫星通信系统，透镜天线则应用较少\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。相控阵天线在多波束卫星通信系统中有着越来越广泛的应用，包括StarLink在内的近地轨道卫星全球互联网接入服务都是用了有源相控阵天线技术\supercite{徐冰玉2021starlink}。多波束卫星的相控阵卫星天线有多个相同的天线元间距均匀排列而成，通过波束形成网络激励生成所需要的不同形状的相互独立的波束，对波束的数目等进行灵活的配置与管理。下面给出多波束卫星天线的传输模型。
|
||||||
|
|
||||||
天线增益是对一定方向上信号发射和接收的能力，天线在其最辐射方向上具有最大的增益，可以表示为：
|
天线增益是对一定方向上信号发射和接收的能力，天线在其最辐射方向上具有最大的增益，可以表示为：
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
@@ -124,7 +124,7 @@
|
|||||||
\label{fig:pb}
|
\label{fig:pb}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的共频干扰。ITU给出了各种多波束天线的旁瓣辐射特征\supercite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了四部分(\ref{fig:pb})，用公式表示为：
|
天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的同频干扰。ITU给出了各种多波束天线的旁瓣辐射特征模型\supercite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了四部分(\ref{fig:pb})，用公式表示为：
|
||||||
|
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
G(\alpha) = \begin{cases}
|
G(\alpha) = \begin{cases}
|
||||||
@@ -194,7 +194,7 @@
|
|||||||
\subsubsection{系统噪声}
|
\subsubsection{系统噪声}
|
||||||
|
|
||||||
% 在卫星通信系统中，从卫星发射端对接收端的信号检测解调过程中，都存在这噪声的干扰，根据奈奎斯特公式，噪声的功率为
|
% 在卫星通信系统中，从卫星发射端对接收端的信号检测解调过程中，都存在这噪声的干扰，根据奈奎斯特公式，噪声的功率为
|
||||||
电子元件中存在热扰动，由此会产生一定的热噪声，这一噪声被称为奈奎斯特噪声，热噪声的功率通常使用公式\ref{eq:noise}表达。
|
电子元件中存在热扰动，由此会产生一定的热噪声，这一噪声被称为奈奎斯特噪声\supercite{johnson1928thermal}，热噪声的功率通常使用公式\ref{eq:noise}表达。
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
N = kTB
|
N = kTB
|
||||||
\label{eq:noise}
|
\label{eq:noise}
|
||||||
@@ -209,7 +209,7 @@
|
|||||||
\end{equation}
|
\end{equation}
|
||||||
$P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益和新账号的发射增益。$L$代表传输的损耗，包括自由空间传播损耗以及其他损耗。
|
$P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益和新账号的发射增益。$L$代表传输的损耗，包括自由空间传播损耗以及其他损耗。
|
||||||
|
|
||||||
实际系统中，定义天线的发射增益事最大辐射方向单位立体角发射功率和各向同性天线的单位立体角 发射功率之比，等效各向同性辐射功率（Effective Isotropic Radiated Power, EIPR）为
|
实际系统中，定义天线的发射增益事最大辐射方向单位立体角发射功率和各向同性天线的单位立体角 发射功率之比，等效各向同性辐射功率（Effective Isotropic Radiated Power, EIPR）\supercite{ilvcev2017global}为
|
||||||
|
|
||||||
|
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
@@ -237,12 +237,12 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
|
|||||||
|
|
||||||
在一定时间序列内对卫星资源进行分配可以视为是序列决策问题，是资源管理中常见的优化问题。这一问题通常被建模为马尔可夫决策过程（Markov Decision Process，MDP）\supercite{russell2016artificial}，本节主要对序列决策和MDP进行阐述。
|
在一定时间序列内对卫星资源进行分配可以视为是序列决策问题，是资源管理中常见的优化问题。这一问题通常被建模为马尔可夫决策过程（Markov Decision Process，MDP）\supercite{russell2016artificial}，本节主要对序列决策和MDP进行阐述。
|
||||||
\subsection{序列决策概述}\label{sec:decision}
|
\subsection{序列决策概述}\label{sec:decision}
|
||||||
在控制理论中，序列决策通常涉及到在一系列离散的时间步骤里，根据当前系统状态和信息，进行一系列的决策，以达到某种优化目标。在优化问题中，序列决策的每一个步骤都会对后续决策和整体的性能产生影响，但在局部看，序列决策的结果并不一定是最优结果。例如数学、管理学和计算机科学等领域应用较多的动态规划算法（Dynamic Programming，DP），会将整体问题拆解为具有重复子问题和最优子结构的序列决策问题，通过最小化或最大化某种目标函数的形式得到整体问题的最优解。另一个常见的场景是的棋牌类比赛中，下棋的每一步都会对整个后续棋局造成影响，单步的下棋策略往往不是最优甚至某些时候是非常糟糕的策略，而整体的收益会在比赛结束后得到结果。
|
在控制理论中，序列决策（Sequential Decision Making）通常指在一系列离散的时间步骤里，根据当前系统状态和信息，进行一系列的决策，以达到某种优化目标\supercite{littman1996algorithms}。在优化问题中，序列决策的每一个步骤都会对后续决策和整体的性能产生影响，但在局部看，序列决策的结果并不一定是最优结果。常见的序列决策思想有动态规划（Dynamic Programming，DP）\supercite{bellman1966dynamic}，这种算法在数学、管理学和计算机科学等领域有较多应用，这种方法会将整体问题拆解为具有重复子问题和最优子结构的序列决策问题，通过最小化或最大化某种目标函数的形式得到整体问题的最优解。另一个常见的场景是棋牌类比赛，下棋的每一步都会对整个后续棋局造成影响，单步的下棋策略往往不是最优甚至某些时候是非常糟糕的策略，而整体的收益会在比赛结束时得到体现。
|
||||||
通常，序列决策问题的求解有多重方法。当所有可能的状态完全已知或者问题具有固定的概率分布，可以通过编程实现有限状态机的方法进行求解。这样方法要求在软件设计阶段，程序开发人员能够遇见到所有可能的情况。但是在实际的问题中，状态空间和动作空间都具有不确定性，穷举所有状态、设计有限状态机的方法不再现实。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\supercite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）等方式，能够有效的解决序列决策问题。
|
通常，序列决策问题的求解有多种方法。当所有可能的状态已知或者问题具有固定的概率分布时，可以通过编程实现有限状态机的方法进行求解。这样方法要求在软件设计阶段，程序开发人员能够遇见到所有可能的情况。但是在实际的问题中，状态空间和动作空间都具有不确定性，穷举所有状态、设计有限状态机的方法不再现实。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\supercite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）\supercite{russell2016artificial}等方式，能够有效的解决序列决策问题。
|
||||||
|
|
||||||
\subsection{马尔科夫决策过程}
|
\subsection{马尔科夫决策过程}
|
||||||
|
|
||||||
马尔科夫决策过程是描述决策问题的数学框架，其基于马尔科夫链和决策理论的结合，可以使用四元组进行描述$<\mathcal{S},\mathcal{A},T,R>$，即状态空间、动作空间、状态转移函数和奖励函数：
|
马尔科夫决策过程是描述决策问题的数学框架，其基于马尔科夫链，可以使用四元组进行描述$<\mathcal{S},\mathcal{A},T,R>$，即状态空间、动作空间、状态转移函数和奖励函数\supercite{puterman1990markov}：
|
||||||
\begin{enumerate}
|
\begin{enumerate}
|
||||||
\item \textbf{状态空间（State Space）}：状态空间是描述系统状态的集合，通常用$S\mathcal{S}$表示，$s \in \mathcal{S}$表示系统的一个状态。每个状态代表系统在当前时间节点特定的情况或者配置。状态空间可以分为离散状态空间和连续状态空间，离散的状态空间通常用有限的集合表示，表示状态空间的有限性。例如在围棋中，如果将棋盘棋子情况作为状态，每个格点可以有三个状态之一：空、黑棋、白棋，那么状态空间的大小为$3^{361}$。而连续的状态空间代表有无限的状态，例如机器人在二维平面上移动的问题，其状态空间可以视为是二维笛卡尔坐标系，每个点$(x,y)$都可以视为一个状态，其状态的表征具有无限的可能性。
|
\item \textbf{状态空间（State Space）}：状态空间是描述系统状态的集合，通常用$S\mathcal{S}$表示，$s \in \mathcal{S}$表示系统的一个状态。每个状态代表系统在当前时间节点特定的情况或者配置。状态空间可以分为离散状态空间和连续状态空间，离散的状态空间通常用有限的集合表示，表示状态空间的有限性。例如在围棋中，如果将棋盘棋子情况作为状态，每个格点可以有三个状态之一：空、黑棋、白棋，那么状态空间的大小为$3^{361}$。而连续的状态空间代表有无限的状态，例如机器人在二维平面上移动的问题，其状态空间可以视为是二维笛卡尔坐标系，每个点$(x,y)$都可以视为一个状态，其状态的表征具有无限的可能性。
|
||||||
\item \textbf{动作空间（Action Space）}：动作是运动系统从一个状态到另一个状态的操作，动作的集合成为动作空间，通常用$\mathcal{A}$表示，$a \in \mathcal{A}$表示系统的一个动作。同样地，动作空间也可以分为离散动作空间和连续动作空间。围棋的动作空间可以表示为在棋盘上放置一颗棋子，其可能的动作数量为$361$个，是有限的；可以用机器人的速度$(v_x, v_y)$代表二维空间机器人移动问题的动作，该动作是无限的。状态空间和动作空间的离散性并不是对应的关系，存在状态空间是连续的，动作空间是离散的情况，同样存在状态空间离散但动作空间连续的情况。
|
\item \textbf{动作空间（Action Space）}：动作是运动系统从一个状态到另一个状态的操作，动作的集合成为动作空间，通常用$\mathcal{A}$表示，$a \in \mathcal{A}$表示系统的一个动作。同样地，动作空间也可以分为离散动作空间和连续动作空间。围棋的动作空间可以表示为在棋盘上放置一颗棋子，其可能的动作数量为$361$个，是有限的；可以用机器人的速度$(v_x, v_y)$代表二维空间机器人移动问题的动作，该动作是无限的。状态空间和动作空间的离散性并不是对应的关系，存在状态空间是连续的，动作空间是离散的情况，同样存在状态空间离散但动作空间连续的情况。
|
||||||
@@ -264,7 +264,7 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
|
|||||||
% \subsection{启发式搜索概述}
|
% \subsection{启发式搜索概述}
|
||||||
\subsection{强化学习}
|
\subsection{强化学习}
|
||||||
\subsubsection{概述}
|
\subsubsection{概述}
|
||||||
基于马尔可夫决策过程，强化学习通过与环境的不断交互获得最优的动作选择策略$\pi^*$。图\ref{fig:rl}给出了强化学习算法的典型结构框架，问题建模成为马尔可夫过程，在这其中设置一个智能体（agent），智能体观察环境中的状态信息并且接收奖励信息，然后基于状态选择特定的动作执行，而动作会改变环境更新状态并且得到奖励信息，智能体通过奖励调整策略$\pi$。
|
基于马尔可夫决策过程，强化学习通过与环境的不断交互获得最优的动作选择策略$\pi^*$。图\ref{fig:rl}给出了强化学习算法的典型结构框架，问题建模成为马尔可夫过程，在这其中设置一个智能体（Agent），智能体观察环境中的状态信息并且接收奖励信息，然后基于状态选择特定的动作执行，而动作会改变环境更新状态并且得到奖励信息，智能体通过奖励调整策略$\pi$。
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
\includegraphics[width=0.75\textwidth]{chap/figures/rl.png}
|
\includegraphics[width=0.75\textwidth]{chap/figures/rl.png}
|
||||||
@@ -335,7 +335,7 @@ $Q(s,a)$表示对于$(s,a)$在策略$\pi$下的期望奖励，动作价值函数
|
|||||||
|
|
||||||
\textbf{（2）基于策略的强化学习方法}
|
\textbf{（2）基于策略的强化学习方法}
|
||||||
|
|
||||||
基于策略的RL方法相比基于值的方法，其基本思想是直接通过学习优化策略函数。策略梯度算法是这一类算法的代表。使用$\pi(s,a;\theta)$代表一个策略函数，其中$\theta$为网络参数权重，策略梯度通过梯度上升法更新$\theta$从而优化策略。具体而言，智能体在图\ref{fig:rl}的框架中不断与环境交互获得周期序列$s_1,a_1,r_1,s_2,a_2,r_2,\cdots,s_t,a_t,r_t$，这样的周期被称为迹（$\lambda$），迹发生的概率可以表示为
|
基于策略的RL方法相比基于值的方法，其基本思想是直接通过学习优化策略函数。策略梯度算法是这一类算法的代表。使用$\pi(s,a;\theta)$代表一个策略函数，其中$\theta$为策略函数内部参数权重的取值，在深度强化学习中代表深度神经网络的网络参数，策略梯度通过梯度上升法更新$\theta$从而优化策略。具体而言，智能体在图\ref{fig:rl}的框架中不断与环境交互获得周期序列$s_1,a_1,r_1,s_2,a_2,r_2,\cdots,s_t,a_t,r_t$，这样的周期被称为迹（$\lambda$），迹发生的概率可以表示为
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
\begin{aligned}
|
\begin{aligned}
|
||||||
P_{\theta}(\lambda) &= P(s_1)\pi(s_1,a_1;\theta)P(s_2|s_1,a_1)\pi(s_2,a_2;\theta)\cdots P(s_t|s_{t-1},a_{t-1})\pi(s_t,a_t;\theta) \\
|
P_{\theta}(\lambda) &= P(s_1)\pi(s_1,a_1;\theta)P(s_2|s_1,a_1)\pi(s_2,a_2;\theta)\cdots P(s_t|s_{t-1},a_{t-1})\pi(s_t,a_t;\theta) \\
|
||||||
@@ -366,7 +366,7 @@ $Q(s,a)$表示对于$(s,a)$在策略$\pi$下的期望奖励，动作价值函数
|
|||||||
|
|
||||||
\textbf{（3）基于AC的强化学习方法}
|
\textbf{（3）基于AC的强化学习方法}
|
||||||
|
|
||||||
基于Actor-Critic（AC，行动者-评论者）的强化学习方法是基于值和基于策略的RL方法的结合形式。在现实策略中，根据式\ref{eq:a_star}选择最优动作的基于值的RL方法无法实现连续空间的动作。例如Q学习方法通过Q表存储动作价值函数，在面对连续动作时需要离散量化，进行决策时需要遍历所有的动作空间得到最优解，当连续动作的离散化维度高时，算法的复杂度极高、难以收敛。而另一方面，基于策略的强化学习算法每次交互需要获取到的足够长度的迹才能实现更新，收敛速度慢。AC方法通过将策略函数和价值函数结合，通过价值函数评估策略函数的优劣，通过策略函数优化价值函数的评估，实现了连续动作空间的优化。AC方法的基本思想是通过一个行动者（Actor）和一个评论者（Critic）来实现。行动者负责选择动作，评论者负责评估行动者的动作。行动者根据评论者的评估调整策略，评论者根据行动者的策略评估价值函数。图\ref{fig:ACRL}反映了这种框架的结构，Critic使用基于值的方法评估动作优劣，Actor使用基于策略的方法选择动作。此外，RL分配还包括有模型RL和无模型RL、在线RL和离线RL、同策略RL和异策略RL等，此处不再赘述。
|
基于Actor-Critic（AC，演员-评论家）的强化学习方法是基于值和基于策略的RL方法的结合形式\supercite{konda1999actor}。根据式\ref{eq:a_star}选择最优动作的基于值的RL方法无法实现连续空间的动作。例如Q学习方法通过Q表存储动作价值函数，在面对连续动作时需要离散量化，进行决策时需要遍历所有的动作空间得到最优解，当连续动作的离散化维度高时，算法的复杂度极高、难以收敛。而另一方面，基于策略的强化学习算法每次交互需要获取到的足够长度的迹才能实现更新，收敛速度慢。AC方法通过将策略函数和价值函数结合，通过价值函数评估策略函数的优劣，通过策略函数优化价值函数的评估，实现了连续动作空间的优化。AC方法的基本思想是通过一个演员（Actor）和一个评论家（Critic）来实现。演员负责选择动作，评论家负责评估演员的动作。演员根据评论家的评估调整策略，评论家根据演员的策略评估价值函数。图\ref{fig:ACRL}反映了这种框架的结构，Critic使用基于值的方法评估动作优劣，Actor使用基于策略的方法选择动作。此外，RL分配还包括有模型RL和无模型RL、在线RL和离线RL、同策略RL和异策略RL等，此处不再赘述。
|
||||||
|
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
@@ -384,7 +384,7 @@ DRL算法作为机器学习的一种，结合了RL的序列决策能力和DL的
|
|||||||
% 深度学习（Deep Learing，DL）是使用深度神经网络（Deep Neural Network，DNN）作为模型提取特征、对复杂函数进行的非线性拟合的一种方法。DNN包括输入层、隐藏层输出层，每一层包括多个神经元，每个神经元通过激活函数对输入信号进行处理。DNN通过反向传播算法（Back Propagation，BP）不断调整权重，使得模型的输出与真实值之间的误差最小化。DNN的优势在于可以处理大量的数据，提取数据的高阶特征，对复杂的非线性函数进行拟合。DNN的缺点在于需要大量的数据进行训练，容易过拟合，训练时间长，模型的解释性差。
|
% 深度学习（Deep Learing，DL）是使用深度神经网络（Deep Neural Network，DNN）作为模型提取特征、对复杂函数进行的非线性拟合的一种方法。DNN包括输入层、隐藏层输出层，每一层包括多个神经元，每个神经元通过激活函数对输入信号进行处理。DNN通过反向传播算法（Back Propagation，BP）不断调整权重，使得模型的输出与真实值之间的误差最小化。DNN的优势在于可以处理大量的数据，提取数据的高阶特征，对复杂的非线性函数进行拟合。DNN的缺点在于需要大量的数据进行训练，容易过拟合，训练时间长，模型的解释性差。
|
||||||
% % vim:ts=4:sw=4
|
% % vim:ts=4:sw=4
|
||||||
|
|
||||||
深度学习（DL）是一种通过使用深度神经网络（DNN）来提取特征和进行复杂函数的非线性拟合的技术。DNN 架构包括输入层、多个隐藏层以及输出层，每层由多个神经元组成，这些神经元利用激活函数处理输入信号。通过反向传播算法（BP），DNN 不断调整神经元间的连接权重，以最小化模型输出与实际值之间的误差。DNN 的主要优势是其能够处理大规模数据集，提取高阶特征，并对复杂的非线性关系进行有效拟合。然而，DNN 也存在一些局限，如需要大量数据支持训练，容易发生过拟合，训练过程耗时，且模型的可解释性较差。图\ref{fig:DNN}描述了深度神经网络的基本结构。在隐藏层中，最基本的是全连接层，其结构就是每层的所有神经元都与下一层全部的神经元相连接。第$i$层的第$j$个神经元的输出为：
|
深度学习（DL）是一种通过使用深度神经网络（DNN）来提取特征和进行复杂函数的非线性拟合的技术\supercite{russell2016artificial}。DNN 架构包括输入层、多个隐藏层以及输出层，每层由多个神经元组成，这些神经元利用激活函数处理输入信号。通过反向传播算法（BP），DNN 不断调整神经元间的连接权重，以最小化模型输出与实际值之间的误差。DNN 的主要优势是其能够处理大规模数据集，提取高阶特征，并对复杂的非线性关系进行有效拟合。然而，DNN 也存在一些局限，如需要大量数据支持训练，容易发生过拟合，训练过程耗时，且模型的可解释性较差。图\ref{fig:DNN}描述了深度神经网络的基本结构。在隐藏层中，最基本的是全连接层，其结构就是每层的所有神经元都与下一层全部的神经元相连接。第$i$层的第$j$个神经元的输出为：
|
||||||
|
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
@@ -404,7 +404,7 @@ DRL算法作为机器学习的一种，结合了RL的序列决策能力和DL的
|
|||||||
\text{ReLU}(x) &= \max(0,x)
|
\text{ReLU}(x) &= \max(0,x)
|
||||||
\end{align}
|
\end{align}
|
||||||
|
|
||||||
常见的DNN有卷积神经网络（CNN）、循环神经网络（RNN）、对抗神经网络（GAN）等。本文中所提出的算法主要使用了CNN网络，CNN网络是专门用于处理具有网格矩阵结构的数据，广泛应用于计算机视觉领域。CNN网络主要包含卷积层、池化层、全连接层（图\ref{fig:cnn}）。卷积层的主要作用是对输入数据进行卷积运算用于提出特征（图\ref{fig:conv}），池化层承接卷积层的输出，通过数据降维的方式避免过拟合。
|
常见的DNN有卷积神经网络（CNN）、循环神经网络（RNN）、对抗神经网络（GAN）等\supercite{russell2016artificial}。本文中所提出的算法主要使用了CNN网络，CNN网络是专门用于处理具有网格矩阵结构的数据，广泛应用于计算机视觉领域。CNN网络主要包含卷积层、池化层、全连接层（图\ref{fig:cnn}）。卷积层的主要作用是对输入数据进行卷积运算用于提出特征（图\ref{fig:conv}），池化层承接卷积层的输出，通过数据降维的方式避免过拟合。
|
||||||
% 卷积层通过卷积核对输入数据进行特征提取，池化层通过降采样的方式减少数据维度，全连接层通过神经元之间的连接实现数据的分类。CNN网络的主要优势在于其能够有效提取数据的空间特征，对图像数据的处理效果显著。
|
% 卷积层通过卷积核对输入数据进行特征提取，池化层通过降采样的方式减少数据维度，全连接层通过神经元之间的连接实现数据的分类。CNN网络的主要优势在于其能够有效提取数据的空间特征，对图像数据的处理效果显著。
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
@@ -432,15 +432,15 @@ DRL算法作为机器学习的一种，结合了RL的序列决策能力和DL的
|
|||||||
算法名称 & 算法目的 \\
|
算法名称 & 算法目的 \\
|
||||||
\midrule
|
\midrule
|
||||||
DQN & 解决Q学习中的高维状态空间问题 \\
|
DQN & 解决Q学习中的高维状态空间问题 \\
|
||||||
DPG & 简化策略梯度算法 \\
|
DPG\supercite{silver2014deterministic} & 简化策略梯度算法 \\
|
||||||
DDPG & DQN与DPG结合 \\
|
DDPG\supercite{lillicrap2015continuous} & DQN与DPG结合 \\
|
||||||
Nature DQN & 提高DQN的训练速度 \\
|
Nature DQN\supercite{mnih2015human} & 提高DQN的训练速度 \\
|
||||||
Double DQN & 提高DQN的稳定性 \\
|
Double DQN \supercite{van2016deep} & 提高DQN的稳定性 \\
|
||||||
Dueling DQN & 提高DQN的性能 \\
|
Dueling DQN \supercite{wang2016dueling} & 提高DQN的性能 \\
|
||||||
A3C & 强化学习并行化 \\
|
A3C\supercite{mnih2016asynchronous} & 强化学习并行化 \\
|
||||||
PPO & 解决策略梯度利用率低 \\
|
PPO\supercite{schulman2017proximal} & 解决策略梯度利用率低 \\
|
||||||
TD3 & 解决DDPG中的过估计问题 \\
|
TD3\supercite{fujimoto2018addressing} & 解决DDPG中的过估计问题 \\
|
||||||
SAC & 避免陷入局部最优 \\
|
SAC\supercite{haarnoja2018soft} & 避免陷入局部最优 \\
|
||||||
\bottomrule
|
\bottomrule
|
||||||
\end{tabular}
|
\end{tabular}
|
||||||
\end{table}
|
\end{table}
|
||||||
|
|||||||
+28
-29
@@ -4,7 +4,7 @@
|
|||||||
\chapter{基于深度强化学习的信道分配算法研究}
|
\chapter{基于深度强化学习的信道分配算法研究}
|
||||||
|
|
||||||
\section{引言}
|
\section{引言}
|
||||||
为了应对下一代卫星移动通信系统高吞吐量的数据需求，卫星广泛采用了多波束卫星的架构，每个卫星携带多个波束，分别覆盖地面特定的区域，波束共同组成了单卫星的区域覆盖。由于卫星通信的用户和终端在地理空间和使用时间上分布不均匀，卫星不同波束间的通信数据量存在较大的差异，如果采用固定的频谱分配方式，即使波束内不存在用户使用资源，也会造成资源的浪费。而采用动态资源分配的方式，即所有的信道资源都可以被各个波束的用户所使用\supercite{刘召2019多波束卫星动态信道资源分配算法}，相比固定的频谱分配方式能够拥有较高的资源利用率。关于研究如何合理地将星上资源在波束之间分配的研究越来越多，这些研究主要是针对带宽或者功率作为优化目标，本章将首先针对现有的单一资源优化分配算法的性能进行研究，根据其不足提出基于强化学习的多波束卫星资源的分配算法。
|
为了应对下一代卫星移动通信系统高吞吐量的数据需求，卫星广泛采用了多波束卫星的架构，不同波束分别覆盖地面特定的区域，波束共同组成了单卫星的区域覆盖。由于卫星通信的用户和终端在地理空间和使用时间上分布不均匀，卫星不同波束间的通信数据量存在较大的差异，如果采用固定的频谱分配方式，即使波束内不存在用户使用资源，也会造成资源的浪费。而采用动态资源分配的方式，即所有的信道资源都可以被各个波束的用户所使用\supercite{刘召2019多波束卫星动态信道资源分配算法}，相比固定的频谱分配方式能够拥有较高的资源利用率。关于如何合理地将星上资源在波束之间分配的研究越来越多\supercite{杨宇龙2020多波束卫星通信系统的资源分配算法研究}，这些研究主要是针对带宽或者功率作为优化目标，本章将首先针对现有的单一资源优化分配算法的性能进行研究，根据其不足改进得到基于强化学习的多波束卫星资源的分配算法。
|
||||||
% 但是在多波束卫星系统中，从不同的波束发送的信道在卫星转发器相遇，这样导致使用相同频率资源的信号在中心距离小于同频复用距离时存在同频干扰
|
% 但是在多波束卫星系统中，从不同的波束发送的信道在卫星转发器相遇，这样导致使用相同频率资源的信号在中心距离小于同频复用距离时存在同频干扰
|
||||||
|
|
||||||
% 但多波束卫星系统中，不同波束使用相同信道进行转发时，会产生同频干扰，使用相同频率工作的波束会相互干扰，引起通信速率和通信质量的下降。
|
% 但多波束卫星系统中，不同波束使用相同信道进行转发时，会产生同频干扰，使用相同频率工作的波束会相互干扰，引起通信速率和通信质量的下降。
|
||||||
@@ -18,7 +18,7 @@
|
|||||||
\label{fig:multi-satellite}
|
\label{fig:multi-satellite}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
多波束卫星系统由多波束卫星和不同波束下的地面用户终端组成。多波束卫星拥有$M$个波束，服务于$M$个小区。
|
多波束卫星系统由多波束卫星和地面用户组成。本章场景中，多波束卫星拥有$N$个波束，服务于$N$个小区。
|
||||||
% 图\ref{fig:multi-satellite}描述了常见的多波束卫星的整体系统结构，多波束卫星主要包括的以下几部分：
|
% 图\ref{fig:multi-satellite}描述了常见的多波束卫星的整体系统结构，多波束卫星主要包括的以下几部分：
|
||||||
% \begin{enumerate}
|
% \begin{enumerate}
|
||||||
% \item 地面中心站：主要包含前向链路网关处理部分
|
% \item 地面中心站：主要包含前向链路网关处理部分
|
||||||
@@ -31,9 +31,9 @@
|
|||||||
|
|
||||||
如图\ref{fig:beam_users}所示，考虑一个给定的卫星场景。其中存在数量为$K$的用户终端分散在各小区中，图中的点、“x”等标记代表不同的地面用户。在$t$时刻，用户通过根据地理位置通过最大化SINR的方式与波束对应并申请接入卫星通话系统。各个波束之间的业务量之间存在一定的差异，因而每个波束的业务需求和信道容量也有所差别，使用$C_i(i=1,2,\dots,N)$表示。
|
如图\ref{fig:beam_users}所示，考虑一个给定的卫星场景。其中存在数量为$K$的用户终端分散在各小区中，图中的点、“x”等标记代表不同的地面用户。在$t$时刻，用户通过根据地理位置通过最大化SINR的方式与波束对应并申请接入卫星通话系统。各个波束之间的业务量之间存在一定的差异，因而每个波束的业务需求和信道容量也有所差别，使用$C_i(i=1,2,\dots,N)$表示。
|
||||||
同时，用户根据地理位置的不同，会被不同的点波束所服务，波束与用户之间的关系可以使用以下矩阵描述：
|
同时，用户根据地理位置的不同，会被不同的点波束所服务，波束与用户之间的关系可以使用以下矩阵描述：
|
||||||
$$\mathbf{X} = \{x_{k,n}|x_{k,n}\in\{0,1\}, \sum_{n=1}^{N}x_{k,n}=1,\forall k,n \} .$$
|
$$\mathbf{X}=\{x_{k,n}|x_{k,n}\in\{0,1\}, \sum_{n=1}^{N}x_{k,n}=1,\forall k \} .$$
|
||||||
|
|
||||||
考虑LEO卫星系统中，由于卫星轨道相对较低，卫星移动速度较快，例如卫星在\SI{780}{km}的轨道高度时运行速度为\SI{7.46}{km\per s}，因此这种场景下可以忽略地面用户的移动性，只需要考虑卫星的移动性。卫星相对于地面区域向特定方向的运动可以视为，用户朝着相反方向进行移动。
|
考虑LEO卫星系统中，由于卫星轨道相对较低，卫星移动速度较快，例如卫星在\SI{780}{km}的轨道高度时运行速度为\SI{7.46}{km\per s}，因此这种场景下可以忽略地面用户的移动性，只需要考虑卫星的移动性。卫星相对于地面区域向特定方向的运动可以视为用户朝着相反方向进行移动。
|
||||||
|
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
@@ -46,7 +46,7 @@ $$\mathbf{X} = \{x_{k,n}|x_{k,n}\in\{0,1\}, \sum_{n=1}^{N}x_{k,n}=1,\forall k
|
|||||||
$$C_i \le T_i^t, \forall t$$
|
$$C_i \le T_i^t, \forall t$$
|
||||||
|
|
||||||
% 多波束卫星通信的一大特点就是可以使用频率复用技术，能够使得卫星在使用相同信道的同时与多个波束服务的小区内的用户进行通信。频率复用技术的优势能够提高频率资源的利用率，提高系统的通信容量。
|
% 多波束卫星通信的一大特点就是可以使用频率复用技术，能够使得卫星在使用相同信道的同时与多个波束服务的小区内的用户进行通信。频率复用技术的优势能够提高频率资源的利用率，提高系统的通信容量。
|
||||||
多波束卫星通信的一个显著特点是它能够利用频率复用技术。这使得卫星可以在同一信道上同时服务多个波束覆盖的小区，与这些小区内的众多用户进行通信。这种频率复用技术大幅提高了频率资源的利用效率和整个系统的通信容量。但是同频复用导致波束的天线旁瓣增益对其他使用同频信道的波束造成一定的干扰，而这种干扰能够会影响系统的容量。假设系统拥有$M$个可以复用的信道，每个可复用信道的带宽为$B_c = \frac{B}{M}$，即每个点波束可以在所有可用的信道集合中分配未使用的信道，每个用户单个时隙只能占有一个信道。假设星上资源中，每个信道$m$给用户分配的功率为$w_{m,k}$，那么可以用以下矩阵作为信道分配的描述：
|
多波束卫星通信的一个显著特点是它能够利用频率复用技术。这使得卫星可以在同一信道上同时服务多个波束覆盖的小区，与这些小区内的众多用户进行通信。这种频率复用技术大幅提高了频率资源的利用效率和整个系统的通信容量。但是同频复用导致波束的天线旁瓣增益对其他使用同频信道的波束造成一定的干扰，而这种干扰能够会影响系统的容量。假设系统拥有$M$个可以复用的信道，每个可复用信道的带宽为$B_c = \frac{B}{M}$，即每个点波束可以在所有可用的信道集合中分配未使用的信道，每个用户单个时隙只能占有一个信道。假设星上资源中，用户$k$使用信道$m$进行通信的功率为$w_{m,k}$，那么可以用以下矩阵作为信道分配的描述：
|
||||||
$$
|
$$
|
||||||
\mathbf{W} = [\mathbf{w_1, w_2,\dots,w_K}] =
|
\mathbf{W} = [\mathbf{w_1, w_2,\dots,w_K}] =
|
||||||
\begin{bmatrix}
|
\begin{bmatrix}
|
||||||
@@ -86,29 +86,31 @@ $$
|
|||||||
\end{equation}
|
\end{equation}
|
||||||
那么用户接收到的信号功率可以表示为
|
那么用户接收到的信号功率可以表示为
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
P_k = h_{k,k} \cdot w_{m,k}, \forall m,k, x_{m,k} = 1
|
P_k = h_{k,k} \cdot w_{m,k}
|
||||||
|
% , \forall m,k, x_{m,k} = 1
|
||||||
\end{equation}
|
\end{equation}
|
||||||
干扰可以表示为：
|
干扰可以表示为：
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
P_{cci} = \sum_{i\ne k} h_{k,i} \cdot w_{m,i}, \forall m,i, x_{m,i} = 1
|
P_{cci,k} = \sum_{i\ne k} h_{k,i} \cdot w_{m,i}
|
||||||
|
% , \forall m,i, x_{m,i} = 1
|
||||||
\end{equation}
|
\end{equation}
|
||||||
|
|
||||||
那么能够方便的得到用户的信干噪比公式（SINR）为
|
那么能够方便的得到用户的信干噪比公式（SINR）为
|
||||||
|
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
SINR_i = \frac{P_k}{B_c N_0 +\sum_{i\ne k} h_{k,i} \cdot w_{m,i} }
|
SINR_k = \frac{P_k}{B_c N_0 +\sum_{i\ne k} h_{k,i} \cdot w_{m,i} }
|
||||||
\label{eq:SINR}
|
\label{eq:SINR}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
|
|
||||||
根据香农公式，用户$k$的信道容量可以表示为：
|
根据香农公式，用户$k$的信道容量可以表示为：
|
||||||
\begin{align}
|
\begin{align}
|
||||||
C_i = B_c \log_2{(1+\frac{P_k}{B_c N_0 +\sum_{i\ne k} h_{k,i} \cdot w_{m,i} })}
|
C_k = B_c \log_2{(1+\frac{P_k}{B_c N_0 +\sum_{i\ne k} h_{k,i} \cdot w_{m,i} })}
|
||||||
\label{eq:ci}
|
\label{eq:ci}
|
||||||
\end{align}
|
\end{align}
|
||||||
|
|
||||||
公式\ref{eq:ci}给出了用户在所建模的低轨卫星通信系统上在系统资源分配策略下可以达到的速率。为了保障用户的服务质量，该速度需要满足达到特定的最低值，否则通信或者数据传输服务就会因为服务质量过程被阻塞或者失去响应，将速度最低值记为$C_t$。
|
公式\ref{eq:ci}给出了用户在所建模的低轨卫星通信系统上在系统资源分配策略下可以达到的速率。为了保障用户的服务质量，该速度需要满足达到特定的最低值，否则通信或者数据传输服务就会因为服务质量过程被阻塞或者失去响应，将速度最低值记为$C_t$。
|
||||||
|
|
||||||
在以上的基础上，卫星的资源分配问题可以描述为在给定的资源约束下，在业务到达时为其分配合理的信道，最大化系统的频谱效率，这一问题属于序列决策问题，这一问题在\ref{sec:decision}中已经有了比较细致的阐释。具体到该问题就是需要对离散时域上的业务到达请求进行信道的合理分配。本文场景中系统的频谱效率与同时接入服务的用户数量等价，最优化系统的频谱效率就是最小化系统的阻塞率。对决策起到主要影响的就是由于用户地理位置和频率复用产生的共频干扰。当$t$时刻，用户$u_i$申请接入卫星通信系统，由$\mathbf{X}$矩阵可知，需要在波束$b'=\arg \max \mathbf{x_i}$中寻找合适的信道$c$，为用户提供服务，如果存在能够满足限制条件的信道，那么用户就能得到服务，否则用户就会被阻塞。是否阻塞反应了用户的QoS质量，定义阻塞函数：
|
在以上的基础上，卫星的资源分配问题可以描述为在给定的资源约束下，在业务到达时为其分配合理的信道，最大化服务的用户数量，这一问题属于序列决策问题，这一问题在\ref{sec:decision}中已经有了比较细致的阐释。具体到该问题就是需要对离散时域上的业务到达请求进行信道的合理分配。本文场景中系统的频谱效率与同时接入服务的用户数量等价，最优化系统的频谱效率就是最小化系统的阻塞率。对决策起到主要影响的就是由于用户地理位置和频率复用产生的同频干扰。当$t$时刻，用户$u_i$申请接入卫星通信系统，由$\mathbf{X}$矩阵可知，需要在波束$b'=\arg \max \mathbf{x_i}$中寻找合适的信道$c$，为用户提供服务，如果存在能够满足限制条件的信道，那么用户就能得到服务，否则用户就会被阻塞。是否阻塞反应了用户的QoS质量，定义阻塞函数：
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
\Psi^t = \begin{cases}
|
\Psi^t = \begin{cases}
|
||||||
1, & \text{用户被阻塞} \\
|
1, & \text{用户被阻塞} \\
|
||||||
@@ -139,11 +141,11 @@ $$
|
|||||||
C_i \ge C_t, \forall i \in \mathcal{U_t} \label{eq:Cth}
|
C_i \ge C_t, \forall i \in \mathcal{U_t} \label{eq:Cth}
|
||||||
\end{align}
|
\end{align}
|
||||||
|
|
||||||
为了简化问题的复杂度，在本章的卫星通信场景中假设了每个信道采用相同的功率进行发射，即$f_{i,j} \in {P_{Channel}, 0} $，同时本章场景主要是卫星语音通话经常，因此可以将用户的业务需求量视为固定值，每次用户的通信只占用一个信道。式\ref{eq:pt}表示信道的分配满足发射的总功率不超过系统的总的发射功率。式\ref{eq:pbb}表示每个波束的发射功率不超过波束的最大的发射功率，卫星单个波束的最大发射功率限制和其波束形成的方式有关。式\ref{eq:Cth}表示用户的通信速率不低于最低的通信速率，同时新用户的接入不能影响原有正在使用系统的用户的正常通信条件。由此便将卫星信道的动态分配问题转化为了一个序列决策问题从而能够使用深度强化学习的方法。
|
为了简化问题的复杂度，在本章的卫星通信场景中假设了每个信道采用相同的功率进行发射，即$f_{i,j} \in {P_{Channel}, 0} $，同时本章场景主要是卫星语音通话，因此可以将用户的业务需求视为固定值，每次用户的通信只占用一个信道。式\ref{eq:pt}表示卫星所有波束的发射总功率不超过系统的总的发射功率。式\ref{eq:pbb}表示每个波束的发射功率不超过单波束的最大的发射功率，卫星单个波束的最大发射功率限制和其波束形成的方式有关。式\ref{eq:Cth}表示用户的通信速率不低于最低的通信速率，同时新用户的接入不能影响原有正在使用系统的用户的正常通信条件。由此便将卫星信道的动态分配问题转化为了一个序列决策问题从而能够使用深度强化学习的方法。
|
||||||
|
|
||||||
\section{基于强化学习的卫星信道分配算法的问题建模}
|
\section{基于强化学习的卫星信道分配算法的问题建模}
|
||||||
% vim:ts=4:sw=4
|
% vim:ts=4:sw=4
|
||||||
本节主要探讨的是如何将\ref{sec:problem}提出的序列决策问题转化为\ref{sec:decision}中描述的马尔可夫决策过程的形式，即给出状态、动作等问题的抽象，同时给出了本章提出的基于强化学习的卫星信道分配算法的整体框架、阐释所给出的算法的设计思想和主要过程并给出了算法的具体实现过程和部分细节。
|
本节主要探讨的是如何将\ref{sec:problem}提出的序列决策问题转化为\ref{sec:decision}中描述的马尔可夫决策过程的形式，即给出状态、动作等问题的抽象，同时给出了本章基于强化学习的卫星信道分配算法的整体框架、阐释所给出的算法的设计思想和主要过程并给出了算法的具体实现过程和部分细节。
|
||||||
|
|
||||||
\subsection{总体框架}
|
\subsection{总体框架}
|
||||||
|
|
||||||
@@ -176,7 +178,7 @@ Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值
|
|||||||
|
|
||||||
\subsubsection{奖励设计}
|
\subsubsection{奖励设计}
|
||||||
|
|
||||||
根据优化问题的设计，将优化目标增量$\Delta F$作为收益率的一句，任务目标由优化问题中的目标决定，本问题中的优化目标是最小化阻塞率和最大化频谱效率，因此优化目标可以公式表示为：
|
根据优化问题的设计，将优化目标增量$\Delta F$作为收益率的依据，任务目标由优化问题中的目标决定，本问题中的优化目标是最小化阻塞率和最大化频谱效率，因此优化目标可以公式表示为：
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
F_{i} = \alpha_1 SE_{t_i} - \alpha_2 \frac{\sum_{0}^{t_i} \Psi^{\tau}}{N_{arrival}}
|
F_{i} = \alpha_1 SE_{t_i} - \alpha_2 \frac{\sum_{0}^{t_i} \Psi^{\tau}}{N_{arrival}}
|
||||||
\label{eq:target}
|
\label{eq:target}
|
||||||
@@ -213,7 +215,7 @@ Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值
|
|||||||
\caption{某个时刻的业务需求量}
|
\caption{某个时刻的业务需求量}
|
||||||
\label{fig:origin}
|
\label{fig:origin}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
通过构造$M+1$张图片，其中前$M$张代表正在进行通信的用户对$M$个信道的占用情况，第$m(m \in {1,2,\cdots,M})$张图片代表了$t_i$时刻已经服务用户集合$\mathcal{U_{t_i}}$ 对滴$m$信道的占用情况。第$M+1$张代表了新到来用户的情况。每个像素点占用1位的信息，这样就将信息重构为了一个$(M+1) \times L \times H$的图形张量，即拥有$M+1$个颜色通道的黑白图像。图\ref{fig:state_restruct}描述了图\ref{fig:origin}的一种可能的状态压缩情况。在这种状态压缩方案下，状态空间的计算复杂度通过系统$L$和$H$两个维度进行控制，状态可以表示为$s\in{0, 1}^{(M+1)\times L \times H}$。
|
通过构造$M+1$张图片，其中前$M$张代表正在进行通信的用户对$M$个信道的占用情况，第$m(m \in {1,2,\cdots,M})$张图片代表了$t_i$时刻已经服务用户集合$\mathcal{U_{t_i}}$ 对$m$信道的占用情况。第$M+1$张代表了新到来用户的情况。每个像素点占用1位的信息，这样就将信息重构为了一个$(M+1) \times L \times H$的图形张量，即拥有$M+1$个颜色通道的黑白图像。图\ref{fig:state_restruct}描述了图\ref{fig:origin}的一种可能的状态压缩情况。在这种状态压缩方案下，状态空间的计算复杂度通过系统$L$和$H$两个维度进行控制，状态可以表示为$s\in{0, 1}^{(M+1)\times L \times H}$。
|
||||||
\begin{figure}
|
\begin{figure}
|
||||||
\centering
|
\centering
|
||||||
\includegraphics[width=0.95\textwidth]{chap/figures/statechange.png}
|
\includegraphics[width=0.95\textwidth]{chap/figures/statechange.png}
|
||||||
@@ -224,16 +226,13 @@ Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值
|
|||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
本章聚焦于中低轨卫星的情况，需要考虑卫星的移动性问题，如图\ref{fig:leonet}所示，地面用户不能总在任何时候都与卫星通信，通信的时长收到地轨卫星的覆盖时间限制。图\ref{fig:leonet}所描述的系统多种，卫星正下方的紫色圈层即为卫星的覆盖范围，其覆盖范围会随着卫星的移动而进行移动。使用时间$T$表示地面用户与单颗卫星的最长通信时间，那么可以得到
|
||||||
|
|
||||||
|
|
||||||
由于本章聚焦于中低轨卫星的情况，需要考虑卫星的移动性问题，如图\ref{fig:leonet}所示，地面用户不能总在任何时候都与卫星通信，通信的时长收到地轨卫星的覆盖时间限制。图\ref{fig:leonet}所描述的系统多种，卫星正下方的紫色圈层即为卫星的覆盖范围，其覆盖范围会随着卫星的移动而进行移动。使用时间$T$表示地面用户与单颗卫星的最长通信时间，那么可以得到
|
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
T = \frac{L}{v_{sat}}
|
T = \frac{L}{v_{sat}}
|
||||||
\label{eq:maxt}
|
\label{eq:maxt}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
|
|
||||||
$v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是单科卫星的覆盖范围信息。而通过以上的状态重构后，卫星的移动便转化为图片各个像素点朝着某个方向平移的问题。图\ref{fig:move}展示了这种情况下的变化。
|
$v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是单颗卫星的覆盖范围信息。而通过以上的状态重构后，卫星的移动便转化为图片各个像素点朝着某个方向平移的问题。图\ref{fig:move}展示了这种情况下的变化。
|
||||||
|
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
@@ -250,7 +249,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
|
|||||||
|
|
||||||
|
|
||||||
\subsection{Q网络的架构与计算}\label{sec:qwl}
|
\subsection{Q网络的架构与计算}\label{sec:qwl}
|
||||||
如\ref{sec:rl}介绍，RL只在找到最佳的动作选择策略，这一策略可以基于当前的状态做出最佳的动作决策。Q学习是通过定义Q函数的方法来估计价值函数，聚焦于在状态$s$下找到执行动作$a$的累计奖励，通过迭代的方式求解。由于时序决策序列存在较强的相关性，采用了经验回放技术和目标网络的方式来提升网络的收敛性，每次训练过程中都从经验池中提取一定数量的经验数据，通过\ref{eq:Ltheta}计算目标网络与当前网络的误差，通过随机梯度下降（Stochastic Gradient Descent, SGD）的方式来更新网络参数。
|
如\ref{sec:rl}介绍，RL只在找到最佳的动作选择策略，这一策略可以基于当前的状态做出最佳的动作决策。Q学习是通过定义Q函数的方法来估计价值函数，聚焦于在状态$s$下找到执行动作$a$的累计奖励，通过迭代的方式求解。由于时序决策序列存在较强的相关性，DQN架构采用了经验回放技术提升网络的收敛性，每次训练过程中都从经验池中提取一定数量的经验数据，通过\ref{eq:Ltheta}计算目标网络与当前网络的误差，通过随机梯度下降（Stochastic Gradient Descent, SGD）的方式来更新网络参数。
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
L(\theta) = \mathrm{E} [(r_{t} + \gamma \max_{a'} Q'(s_{t+1}, a'; \theta ') - Q(s_t, a_t; \theta))^2]
|
L(\theta) = \mathrm{E} [(r_{t} + \gamma \max_{a'} Q'(s_{t+1}, a'; \theta ') - Q(s_t, a_t; \theta))^2]
|
||||||
\label{eq:Ltheta}
|
\label{eq:Ltheta}
|
||||||
@@ -262,7 +261,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
|
|||||||
\end{equation}
|
\end{equation}
|
||||||
由式\ref{eq:Q_t_1}可以得到，SGD的本质就是最小化误差函数，即$\min L(\theta)$
|
由式\ref{eq:Q_t_1}可以得到，SGD的本质就是最小化误差函数，即$\min L(\theta)$
|
||||||
|
|
||||||
本章提出的算法使用了卷积神经网络（convolutional neural network， CNN）作为Q网络的架构，具体而言主要包含了四层的网络结构。第一层是卷积层，包含16个$5\times 5$卷积核，依据\ref{sec:stateChange}中状态重构的描述，其输入为$M+1$张$L\times H$张量。第二层是32个$3\times 3$个卷积核。经过重新排列与重构输入到第三层和第四层的全连接层中，最后输出为$M$个Q值。其具体参数如表\ref{tab:Q}所示，其中$L = H = 10$。
|
本章算法使用了卷积神经网络（convolutional neural network， CNN）作为Q网络的架构，具体而言主要包含了四层的网络结构。第一层是卷积层，包含16个$5\times 5$卷积核，依据\ref{sec:stateChange}中状态重构的描述，其输入为$M+1$张$L\times H$张量。第二层是32个$3\times 3$个卷积核。经过重新排列与重构输入到第三层和第四层的全连接层中，最后输出为$M$个Q值。其具体参数如表\ref{tab:Q}所示，其中$L = H = 10$。
|
||||||
|
|
||||||
\begin{table}[hbpt]
|
\begin{table}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
@@ -285,7 +284,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
|
|||||||
算法一共分为以下几个主要过程：
|
算法一共分为以下几个主要过程：
|
||||||
\begin{enumerate}
|
\begin{enumerate}
|
||||||
\item 参数初始化，初始化仿真场景和算法的参数。
|
\item 参数初始化，初始化仿真场景和算法的参数。
|
||||||
\item 训练更新：将经验$\phi = {s, a, r, s}$存储到经验池。当经验池数据量达到训练门限时，随机选取一组数据批量训练，通过SGD的方式更新Q网络的参数，更新Q'网络的参数。
|
\item 训练更新：将经验$\phi = {s, a, r, s}$存储到经验池。当经验池数据量达到训练门限时，随机选取一组数据批量训练，通过随机梯度下降的方式更新Q网络的参数，更新Q'网络的参数。
|
||||||
\end{enumerate}
|
\end{enumerate}
|
||||||
具体的步骤如下：
|
具体的步骤如下：
|
||||||
\begin{breakablealgorithm}
|
\begin{breakablealgorithm}
|
||||||
@@ -335,10 +334,10 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
|
|||||||
\end{algorithmic}
|
\end{algorithmic}
|
||||||
\end{breakablealgorithm}
|
\end{breakablealgorithm}
|
||||||
|
|
||||||
在算法的流程中使用到了$\epsilon - greedy$策略，即使用$\epsilon \in [0,1]$的概率随机地进行动作选择，否则选择具有最大Q只动的动作。这种方法的主要目的是在探索（exploration）和利用（exploitation）之间达到平衡，利用的含义是在当前的信息下选择已知的最优动作在当前例子中就是最大化Q值所对应的动作，这样主要的目的是利用历史知识进行学习，而探索则是随机选择一个动作，抛弃所有的已获得的信息。这种策略有助于寻找到全局最优解，避免过早地陷入到对局部最优解中。在本算法中使用衰减率$\lambda$来控制探索概率的衰减速度，$\epsilon_f$是探索概率的最小值。
|
在算法的流程中使用到了$\epsilon - greedy$策略，即使用$\epsilon \in [0,1]$的概率随机地进行动作选择，否则选择具有最大Q值的动作。这种方法的主要目的是在探索（exploration）和利用（exploitation）之间达到平衡，利用的含义是在当前的信息下选择已知的最优动作在当前例子中就是最大化Q值所对应的动作，这样主要的目的是利用历史知识进行学习，而探索则是随机选择一个动作，抛弃所有的已获得的信息。这种策略有助于寻找到全局最优解，避免过早地陷入到对局部最优解中。在本算法中使用衰减率$\lambda$来控制探索概率的衰减速度，$\epsilon_f$是探索概率的最小值。
|
||||||
|
|
||||||
\section{仿真结果分析}
|
\section{仿真结果分析}
|
||||||
本节首先搭建了评估本章提出算法的仿真环境，给出了DRL算法所使用的参数。为了验证算法的有效性和性能，选取了多个不同的参数但作为仿真的场景并与固定信道分配等算法进行了对比，结果表明本文提出的算法能够实现较高的频谱效率和较低的阻塞率。
|
本节首先搭建了评估本章算法的仿真环境，给出了DRL算法所使用的参数。为了验证算法的有效性和性能，选取了多个不同的参数但作为仿真的场景并与固定信道分配等算法进行了对比，结果表明本章的算法能够实现较高的频谱效率和较低的阻塞率。
|
||||||
\subsection{实验参数设计}
|
\subsection{实验参数设计}
|
||||||
仿真中使用的是低轨的单颗L波段卫星系统，主要的参数如表\ref{tab:para}所示，主要参考文献\parencite{zhao2020deep}。其中，业务申请服从参数为$\lambda$的泊松分布，业务的持续时间服从参数为$\mu$的负指数分布，参考\parencite{刘帅军2018卫星通信系统中动态资源管理技术研究}。系统中初始存在的用户数为400，分散在各个波束内。业务速率的最低为\SI{500}{kbps}。
|
仿真中使用的是低轨的单颗L波段卫星系统，主要的参数如表\ref{tab:para}所示，主要参考文献\parencite{zhao2020deep}。其中，业务申请服从参数为$\lambda$的泊松分布，业务的持续时间服从参数为$\mu$的负指数分布，参考\parencite{刘帅军2018卫星通信系统中动态资源管理技术研究}。系统中初始存在的用户数为400，分散在各个波束内。业务速率的最低为\SI{500}{kbps}。
|
||||||
|
|
||||||
@@ -394,7 +393,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
|
|||||||
\bottomrule
|
\bottomrule
|
||||||
\end{tabular}
|
\end{tabular}
|
||||||
\end{table}
|
\end{table}
|
||||||
本次使用了Python3.10中的Torch机器学习框架实现了本次系统的算法，所有的仿真运行在CPU平台为Intel Core i7 11700CPU和NVIDIA RTX 3090 图形计算卡上。
|
本次使用了Python3.10中的PyTorch机器学习框架实现了本次系统的算法，所有的仿真运行在CPU平台为Intel Core i7 11700CPU和NVIDIA RTX 3090 图形计算卡上。
|
||||||
|
|
||||||
\subsection{算法性能分析}
|
\subsection{算法性能分析}
|
||||||
\subsubsection{算法复杂度分析}
|
\subsubsection{算法复杂度分析}
|
||||||
@@ -434,7 +433,7 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
|
|||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
\subsubsection{系统性能分析}
|
\subsubsection{系统性能分析}
|
||||||
为了比较所提出算法性能，本节选取了不同的业务参数、业务持续时间验证算法的性能，并与四色复用方案下的固定信道分配方式、最小化干扰的动态信道分配方式进行了比较。这几种算法的描述如下：
|
为了比较算法性能，本节选取了不同的业务参数、业务持续时间验证算法的性能，并与四色复用方案下的固定信道分配方式、最小化干扰的动态信道分配方式进行了比较。这几种算法的描述如下：
|
||||||
\begin{itemize}
|
\begin{itemize}
|
||||||
\item 固定信道分配方式：将系统中的可用信道按照一定的频率复用因子划分为多个子集，每个波束归属于特定的子集，从每个子集中选择可使用的信道进行分配，本次使用四色复用的方案。
|
\item 固定信道分配方式：将系统中的可用信道按照一定的频率复用因子划分为多个子集，每个波束归属于特定的子集，从每个子集中选择可使用的信道进行分配，本次使用四色复用的方案。
|
||||||
\item 最小干扰的动态分配方式：在每个时刻选择一个最小干扰的信道分配给用户。
|
\item 最小干扰的动态分配方式：在每个时刻选择一个最小干扰的信道分配给用户。
|
||||||
@@ -452,9 +451,9 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
|
|||||||
\caption{业务持续时间一定的情况下通信的阻塞率随着到达率的变化情况}
|
\caption{业务持续时间一定的情况下通信的阻塞率随着到达率的变化情况}
|
||||||
\label{fig:mu_6blk}
|
\label{fig:mu_6blk}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
如图\ref{fig:mu_6blk}所示，阻塞率会随着业务到达率的增大而增大，可用的信道数是固定的，随着到达率的增加，会有越来越多的用户因为信道被完全占用无法得到服务。本文提出的方法在业务的持续时间固定时，在大多数的业务到达率情况下在阻塞率方面优于其他两种算法。例如在$\lambda = 60$时，本文算法的阻塞率要比固定信道分配方式低约0.3，比动态分配方式低约0.03。
|
如图\ref{fig:mu_6blk}所示，阻塞率会随着业务到达率的增大而增大，可用的信道数是固定的，随着到达率的增加，会有越来越多的用户因为信道被完全占用无法得到服务。本章方法在业务的持续时间固定时，在大多数的业务到达率情况下在阻塞率方面优于其他两种算法。例如在$\lambda = 60$时，本文算法的阻塞率要比固定信道分配方式低约0.3，比动态分配方式低约0.03。
|
||||||
|
|
||||||
在所有的到达率中，固定信道的分配方式的系统阻塞率都要高于其他两种方法。这是因为本次比较的信道分配算法使用的是四色复用的方式，每个波束能够使用的信道数量较其他两种方法小，动态新的分配方式可以通过灵活的配置满足新到达的业务从而能够降低整体的阻塞率。固定分配方式的与动态方法之间的差距随着到达率的增大先逐渐增大再减小，到达率较低时，所有算法的都能有效的分配信道，而随着到达率的增大，固定分配方式和动态分配方式先后到达阈值。本文提出的算法在阻塞率方面都要优于贪心算法。这主要是因为贪心算法只考虑当前状态下系统的收益容易陷入到局部最优解，而通过DRL方法考虑了时域的关联性和累计的效率，能够更好地优化系统的性能。由于系统的带宽是固定的，阻塞率一定时能够服务用户数量可以一定程度上反映的系统的频谱效率与承载量，DRL算法能够在阻塞率在0.1时比固定分配算法提高2倍以上，相比贪心算法提升约4\%。这都表明DRL算法相比其他算法具有较高的频谱效率。
|
在所有的到达率中，固定信道的分配方式的系统阻塞率都要高于其他两种方法。这是因为本次比较的信道分配算法使用的是四色复用的方式，每个波束能够使用的信道数量较其他两种方法小，动态新的分配方式可以通过灵活的配置满足新到达的业务从而能够降低整体的阻塞率。固定分配方式的与动态方法之间的差距随着到达率的增大先逐渐增大再减小，到达率较低时，所有算法的都能有效的分配信道，而随着到达率的增大，固定分配方式和动态分配方式先后到达阈值。本章的DRL算法在阻塞率方面都要优于贪心算法。这主要是因为贪心算法只考虑当前状态下系统的收益容易陷入到局部最优解，而通过DRL方法考虑了时域的关联性和累计的效率，能够更好地优化系统的性能。由于系统的带宽是固定的，阻塞率一定时能够服务用户数量可以一定程度上反映的系统的频谱效率与承载量，DRL算法能够在阻塞率在0.1时比固定分配算法提高2倍以上，相比贪心算法提升约4\%。这都表明DRL算法相比其他算法具有较高的频谱效率。
|
||||||
|
|
||||||
|
|
||||||
\textbf{（2） 业务的到达率固定的情况}
|
\textbf{（2） 业务的到达率固定的情况}
|
||||||
@@ -481,4 +480,4 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
|
|||||||
\section{本章小结}
|
\section{本章小结}
|
||||||
% 本章基于深度强化学习领域的研究，提出了基于DQN的在低轨卫星通信下行链路中的多波束资源分配算法。本章首先详细分析了该场景下的序列决策问题，进而在分析问题的基础上提出了基于DQN的资源分配算法。本章首先对问题进行了数学建模，然后对状态空间进行了重构，接着详细介绍了DQN算法的原理和实现细节。最后通过仿真实验验证了本章提出的算法的有效性和性能。实验结果表明，本章提出的算法在低轨卫星通信场景下能够有效的降低系统的阻塞率，提高系统的频谱效率。
|
% 本章基于深度强化学习领域的研究，提出了基于DQN的在低轨卫星通信下行链路中的多波束资源分配算法。本章首先详细分析了该场景下的序列决策问题，进而在分析问题的基础上提出了基于DQN的资源分配算法。本章首先对问题进行了数学建模，然后对状态空间进行了重构，接着详细介绍了DQN算法的原理和实现细节。最后通过仿真实验验证了本章提出的算法的有效性和性能。实验结果表明，本章提出的算法在低轨卫星通信场景下能够有效的降低系统的阻塞率，提高系统的频谱效率。
|
||||||
|
|
||||||
本研究针对低轨卫星通信下行链路中的多波束资源分配问题，提出了一种基于DQN算法的动态信道分配算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本文设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法能有效减少系统阻塞率并显著提升频谱效率。
|
本研究针对低轨卫星通信下行链路中的多波束资源分配问题，引入了深度强化学习中的DQN实现了动态信道分配算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本文设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法能有效减少系统阻塞率。
|
||||||
|
|||||||
+13
-13
@@ -1,7 +1,7 @@
|
|||||||
\chapter{基于深度强化学习的跳波束算法研究}
|
\chapter{基于深度强化学习的跳波束算法研究}
|
||||||
|
|
||||||
\section{引言}
|
\section{引言}
|
||||||
对于多波束卫星，不同地区的覆盖会导致流量的空间分布不均匀，在某一个时间点量部分活跃的波束，提供服务的跳波束机制是有效应对空间流量分布不均匀的方法。传统的方法解决跳波束问题多采用优化或者元启发算法。这些方法的主要问题是随着波束数量的增加、解空间会极速上升。而跳波束决策是一种典型的动态环境序列决策问题，可以采用深度强化学习的方法进行建模。但是单智能体DRL方法在面对巨大的解空间时求解困难，容易出现维度灾难，面对流量需求和波束的公平性存在权衡的问题。如果将波束视为智能体进行多智能体深度强化学习，又容易陷入局部解的问题。本文提出了一种折中的方法，通过结合单智能体和多智能体的方法，提出了一种基于深度强化学习的跳波束算法。
|
对于多波束卫星，不同地区的覆盖会导致流量的空间分布不均匀，在某一个时间点亮部分活跃的波束，提供服务的跳波束机制是有效应对空间流量分布不均匀的方法。传统的方法解决跳波束问题多采用优化或者元启发算法。这些方法的主要问题是随着波束数量的增加、解空间会极速上升。而跳波束决策是一种典型的动态环境序列决策问题，可以采用深度强化学习的方法进行建模。但是单智能体DRL方法在面对巨大的解空间时求解困难，容易出现维度灾难，面对流量需求和波束的公平性存在权衡的问题。如果将波束视为智能体进行多智能体深度强化学习，又容易陷入局部解的问题。本文采取了一种折中的方法，通过结合单智能体和多智能体的方法，实现了一种基于深度强化学习的波束与信道联合分配的跳波束算法。
|
||||||
\section{系统与问题建模}
|
\section{系统与问题建模}
|
||||||
\subsection{场景描述}
|
\subsection{场景描述}
|
||||||
本文考虑多波束卫星的下行链路，通过时分复用的形式，可以提供$K$个波束覆盖$N$个小区的用户（$K<N$）。在$t$时刻，不同的波束与小区之间的可以使用以下矩阵描述：
|
本文考虑多波束卫星的下行链路，通过时分复用的形式，可以提供$K$个波束覆盖$N$个小区的用户（$K<N$）。在$t$时刻，不同的波束与小区之间的可以使用以下矩阵描述：
|
||||||
@@ -94,7 +94,7 @@
|
|||||||
|
|
||||||
在此优化问题中，优化的目标是最大化系统的总体和最小化系统的延时极差，其中$\beta$为权重系数，$\beta$反映了对吞吐量和公平性的取舍，$\beta$越大意味着优化越倾向于最大化吞吐量，反之意味着最小化延时差。$Th_{max}$和$\Delta_{max}$为系统的最大吞吐量和最大极差。约束条件\ref{eq:pttt}为系统的总发射功率约束，约束条件\ref{eq:btot}为系统的总带宽约束，约束条件\ref{eq:xnkk}为波束分配约束。
|
在此优化问题中，优化的目标是最大化系统的总体和最小化系统的延时极差，其中$\beta$为权重系数，$\beta$反映了对吞吐量和公平性的取舍，$\beta$越大意味着优化越倾向于最大化吞吐量，反之意味着最小化延时差。$Th_{max}$和$\Delta_{max}$为系统的最大吞吐量和最大极差。约束条件\ref{eq:pttt}为系统的总发射功率约束，约束条件\ref{eq:btot}为系统的总带宽约束，约束条件\ref{eq:xnkk}为波束分配约束。
|
||||||
\section{基于深度强化学习的跳波束算法建模}
|
\section{基于深度强化学习的跳波束算法建模}
|
||||||
本节详细介绍本文提出的动态跳波束问题的解决方法。首先提出了多目标深度强化学习算法的体系结构，包含了算法中的一些考虑，随后给出了状态空间、动作空间、奖励函数等的处理。
|
本节详细介绍本章关于动态跳波束问题的解决方法。首先描述了多目标深度强化学习算法的体系结构，包含了算法中的一些考虑，随后给出了状态空间、动作空间、奖励函数等的处理。
|
||||||
\subsection{马尔可夫过程构建}
|
\subsection{马尔可夫过程构建}
|
||||||
|
|
||||||
\textbf{（1）状态空间}
|
\textbf{（1）状态空间}
|
||||||
@@ -122,7 +122,7 @@
|
|||||||
\end{equation}
|
\end{equation}
|
||||||
|
|
||||||
\subsection{状态重构}
|
\subsection{状态重构}
|
||||||
本章中描述业务量状况使用的是泊松分布的数据包到来的状况，由于泊松分布的特性，业务的到来是时间连续的行为，为了对$D_t$进行处理，需要对业务进行状态重构。假设每个数据包的大小是相等的，使用数据包的数量来代表小区的业务量请求，数据包请求可以表示为
|
本章中描述业务量状况使用的是泊松分布的数据包到来的状况，由于泊松分布的特性，业务的到来是时间连续的行为，为了对$D_t$进行处理，需要对业务进行状态重构。假设每个数据包的大小是相等的，每个跳波束时隙内的数据量可以代表在该时隙内的吞吐量需求，表示为
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
d_t^{i,j} = \sum \{\varphi_{m,t} | i \in [ \frac{T_{ttl}\cdot m}{M}, \frac{T_{ttl}\cdot(m+1)}{M})\}
|
d_t^{i,j} = \sum \{\varphi_{m,t} | i \in [ \frac{T_{ttl}\cdot m}{M}, \frac{T_{ttl}\cdot(m+1)}{M})\}
|
||||||
\label{eq:data_packet}
|
\label{eq:data_packet}
|
||||||
@@ -142,21 +142,21 @@
|
|||||||
|
|
||||||
\subsection{动作决策与Q网络设计}
|
\subsection{动作决策与Q网络设计}
|
||||||
\ref{sec:qwl}描述了深度Q学习中Q网络的基本结构。
|
\ref{sec:qwl}描述了深度Q学习中Q网络的基本结构。
|
||||||
在传统的基于动作价值函数的DRL方法中，根据网络输出的最大值Q输出单一的动作选择。但在本问题所示的跳波束场景下，波束不仅需要选择点亮的小区还需要选择点亮时的信道分配模式，而这两个问题所需要的动作空间是不同的。为了能够使用这个方法解决跳波束问题，本文提出了一种合作性多智能体强化学习方案，系统中有两个独立的智能体，在训练的过程中分别学习各自的策略、拥有独自的经验回访池，分别选择独立的动作，即点亮的波束与信道的分配模式，两个动作共同作用与环境进行交互从而得到共同的奖励函数$r$。
|
在传统的基于动作价值函数的DRL方法中，算法会按照式\ref{eq:a_star}的定义选择最大动作价值对应的动作作为输出。但在本问题所示的跳波束场景下，波束不仅需要选择点亮的小区还需要选择点亮时的信道分配模式，而这两个问题所需要的动作空间是不同的。为了能够使用这个方法解决跳波束问题，本文给出了一种合作性多智能体强化学习方案，系统中有两个独立的智能体，在训练的过程中分别学习各自的策略、拥有独自的经验回访池，分别选择独立的动作，即点亮的波束与信道的分配模式，两个动作共同作用与环境进行交互从而得到共同的奖励函数$r$。
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
\includegraphics[width=\textwidth]{chap/figures/multidqn.png}
|
\includegraphics[width=\textwidth]{chap/figures/multidqn.png}
|
||||||
\caption{多智能体强化学习框架}
|
\caption{多智能体强化学习框架}
|
||||||
\label{fig:multiagent}
|
\label{fig:multiagent}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
传统的DQN算法中，Q网络的输出是一系列Q值的数组，这种情况下，智能体可以选择最大的Q值对应的动作即（$a_t = \arg \max Q(s,a;\theta)$）。通常而言这种值的输出是一维的数值，而在跳波束问题中，两个网络的输出都是一个具有$K$个分量的向量。在这种情况下，文献\parencite{hu2020dynamic}采用的方法是通过循环的方式，连续进行$K$次决策：每次选择一个小区后，将该小区的数据需求量暂时更新为0，重复$K$次，执行的动作是$K$个动作的并集，$\vec{a} = \{a_1,a_2,\cdots,a_K\}$。这样做的缺点是系统需要更长的时间进行决策、并且会导致难以收敛。而文献\parencite{lin2022dynamic}采取的方式是将每个分量再次拆解为单独的智能体，即将每个波束视为单独的智能体，这样做大大简化了问题的复杂度，但是会导致智能体之间的合作性降低，容易陷入局部最优解。为了应对以上的问题，本文提出了一种折中的方法，即每一个智能体的Q网络在输出层通过多头分叉的方式输出多组不同的Q值，既能充分利用全局的状态信息，又能在一定程度上降低系统的复杂度。在更新时，本文对每个动作分量分别计算网络的误差，通过总误差求平均值获得网络的误差函数：
|
通常而言这种动作价值的输出是一维的数值，而在图\ref{fig:multiagent}的多智能体合作强化学习网络中，两个智能体的动作选择都是具有$K$个分量的高维向量。面对高维动作空间问题，文献\parencite{hu2020dynamic}采用的方法是通过循环的方式，连续进行$K$次决策：每次选择一个小区后，将该小区的数据需求量暂时更新为0，重复$K$次，执行的动作是$K$个动作的并集，$\vec{a} = \{a_1,a_2,\cdots,a_K\}$。这样做的缺点是系统需要更长的时间进行决策、并且会导致难以收敛。而文献\parencite{lin2022dynamic}采取的方式是将每个分量再次拆解为单独的智能体，即将每个波束视为单独的智能体，这样做大大简化了问题的复杂度，但是会导致智能体之间的合作性降低，容易陷入局部最优解。为了应对以上的问题，本文采用了一种折中的方法，即每一个智能体的Q网络在输出层通过多头分叉的方式输出多组不同的Q值，既能充分利用全局的状态信息，又能在一定程度上降低系统的复杂度。在更新时，本文对每个动作分量分别计算网络的误差，通过总误差求平均值获得网络的误差函数：
|
||||||
|
|
||||||
\begin{equation}
|
\begin{equation}
|
||||||
L(\theta) = \frac{1}{K} \sum_k \mathrm{E}[(r_t + \gamma \max Q(s_{t+1}, a'_{t+1,k}; \theta') - Q(s_t, a_{t,k}; \theta))^2]
|
L(\theta) = \frac{1}{K} \sum_k \mathrm{E}[(r_t + \gamma \max Q(s_{t+1}, a'_{t+1,k}; \theta') - Q(s_t, a_{t,k}; \theta))^2]
|
||||||
\label{eq:Loss_eq}
|
\label{eq:Loss_eq}
|
||||||
\end{equation}
|
\end{equation}
|
||||||
|
|
||||||
本章提出的算法使用了四层的全连接神经网络，每个网络共享的输入层、三层共享的隐藏层，输出层为多头分叉的输出层。具体的参数如表\ref{tab:multihead}所示。
|
本章算法使用了四层的全连接神经网络，每个网络共享的输入层、三层共享的隐藏层，输出层为多头分叉的输出层。具体的参数如表\ref{tab:multihead}所示。
|
||||||
|
|
||||||
\begin{table}[hbpt]
|
\begin{table}[hbpt]
|
||||||
\begin{small}
|
\begin{small}
|
||||||
@@ -236,7 +236,8 @@
|
|||||||
|
|
||||||
\section{仿真结果分析}
|
\section{仿真结果分析}
|
||||||
\subsection{仿真参数设计}
|
\subsection{仿真参数设计}
|
||||||
本节仿真基于 python3.10环境，使用了单颗Ka波段卫星，主要参数如表\ref{tab:bhparam}所示，卫星场景仿真参数参考\parencite{lin2022dynamic}，跳波束时隙参考\ref{etsi2005digital}。其中业务的请求量按照泊松分布产生，根据具体的吞吐量需求计算得到对应$\varphi$比特的数据包到达率$
|
本节仿真的CPU平台为Intel Core i7 11700CPU，
|
||||||
|
使用了PyTorch机器学习框架。仿真中，使用了单颗Ka波段卫星，主要参数如表\ref{tab:bhparam}所示，卫星场景仿真参数参考\parencite{lin2022dynamic}，跳波束时隙参考\parencite{etsi2005digital}。其中业务的请求量按照泊松分布产生，根据具体的吞吐量需求计算得到对应$\varphi$比特的数据包到达率$
|
||||||
\lambda$。
|
\lambda$。
|
||||||
|
|
||||||
\begin{table}[hbpt]
|
\begin{table}[hbpt]
|
||||||
@@ -299,7 +300,7 @@ $时，时延的收敛情况。
|
|||||||
\textbf{（1）不同$\beta$取值对系统性能的影响}
|
\textbf{（1）不同$\beta$取值对系统性能的影响}
|
||||||
|
|
||||||
|
|
||||||
根据收敛性分析，本章所提出算法对于不同的$\beta$都具有一定的效果，但是不同的$\beta$对系统收敛性存在一定的影响。为了明确的说明算法的在不同取值下的性能，图\ref{fig:beta_delay}说明随着$\beta$的升高，时延的公平性逐渐变差，而系统总的吞吐量随之增加，这一结论与此前的讨论相同。
|
根据收敛性分析，本章算法对于不同的$\beta$都具有一定的效果，但是不同的$\beta$对系统收敛性存在一定的影响。为了明确的说明算法的在不同取值下的性能，图\ref{fig:beta_delay}说明随着$\beta$的升高，时延的公平性逐渐变差，而系统总的吞吐量随之增加，这一结论与此前的讨论相同。
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
\begin{subfigure}{0.45\textwidth}
|
\begin{subfigure}{0.45\textwidth}
|
||||||
@@ -341,7 +342,7 @@ $时，时延的收敛情况。
|
|||||||
\textbf{（3）在不同吞吐量需求下的时延公平性的表现}
|
\textbf{（3）在不同吞吐量需求下的时延公平性的表现}
|
||||||
|
|
||||||
|
|
||||||
在时延的公平性上，与吞吐量情况不同，各种算法的表现具有较大的差（图\ref{fig:alldl}）。随机算法在各种带宽需求上表现都比较差。周期算法在低业务需求时表现较好，随着业务需求的增加迅速升高。贪心算法总体表现较好，在业务需求区间内都保持着低于\SI{25}{ms}的水平。本文提出的算法总体上呈现出随着业务量增大而上升的状况，在中低业务需求的情况下，在保证时延的公平性上，具有较好的性能，在\SI{2300}{Mbps}的业务需求下，能够比贪心算法的公平性低25\%左右，而在较大吞吐量需求时，为了保证吞吐量，仍然能够控制时延公平性在\SI{30}{ms}以内的水平，考虑到本仿真中星上缓存为40个时隙，本算法在较高业务流量时仍然能够保证大部分业务的正常传输。遗传算法总体与本文提出的算法在时延公平性上表现接近。
|
在时延的公平性上，与吞吐量情况不同，各种算法的表现具有较大的差（图\ref{fig:alldl}）。随机算法在各种带宽需求上表现都比较差。周期算法在低业务需求时表现较好，随着业务需求的增加迅速升高。贪心算法总体表现较好，在业务需求区间内都保持着低于\SI{25}{ms}的水平。本章的算法总体上呈现出随着业务量增大而上升的状况，在中低业务需求的情况下，在保证时延的公平性上，具有较好的性能，在\SI{2300}{Mbps}的业务需求下，能够比贪心算法的公平性低25\%左右，而在较大吞吐量需求时，为了保证吞吐量，仍然能够控制时延公平性在\SI{30}{ms}以内的水平，考虑到本仿真中星上缓存为40个时隙，本算法在较高业务流量时仍然能够保证大部分业务的正常传输。遗传算法总体与本章的算法在时延公平性上表现接近。
|
||||||
|
|
||||||
\begin{figure}[hbpt]
|
\begin{figure}[hbpt]
|
||||||
\centering
|
\centering
|
||||||
@@ -377,12 +378,11 @@ $时，时延的收敛情况。
|
|||||||
随机算法 & $\mathcal{O}(1)$&{3.54}$\mu$s \\
|
随机算法 & $\mathcal{O}(1)$&{3.54}$\mu$s \\
|
||||||
贪心算法 & $\mathcal{O}({NT_{ttl}+N\cdot\log_2NK})$ & 98.76$\mu$s\\
|
贪心算法 & $\mathcal{O}({NT_{ttl}+N\cdot\log_2NK})$ & 98.76$\mu$s\\
|
||||||
本文算法 & $\mathcal{O} (\sum^L M_{in}\cdot M_{out} + M_{L,out}K^2\cdot(M^2+N)) $ & 1288$\mu$s \\
|
本文算法 & $\mathcal{O} (\sum^L M_{in}\cdot M_{out} + M_{L,out}K^2\cdot(M^2+N)) $ & 1288$\mu$s \\
|
||||||
遗传算法 & $\mathcal{O}({PG(Kk^3 + (K^2+NT_{ttl})k^2)})$ & \SI{311}{ms}\\
|
遗传算法 & $\mathcal{O}({PG(K^2+NT_{ttl})})$\supercite{lin2022dynamic} & \SI{311}{ms}\\
|
||||||
\bottomrule
|
\bottomrule
|
||||||
\end{tabular}
|
\end{tabular}
|
||||||
\end{table}
|
\end{table}
|
||||||
经过之前的实验结果分析可以得知，在各种方法中，遗传算法和本文提出的算法在满足流量不均匀的情况时都能够表现较好，但是在实际的决策中，由于遗传算法每次决策初始化种群并计算适应性函数进行迭代，其算法复杂度非常高，反映到实际的决策时间上， 遗传算法相比其他算法是数量级的差异并不合适面对流量变化迅速的实时决策。而本文提出的算法在满足流量需求时表现很好，时延公平性方面相比随机等算法也有较大的提升，在实际决策上，决策时间平均在\SI{1}{ms}左右，仍然能够都满足最小的时隙要求，换句话说，本文提出的算法在表现上能够解决遗传算法等启发式算法，但在决策时间上只是遗传算法的$0.03\%$。
|
经过之前的实验结果分析可以得知，在各种方法中，遗传算法和本章设计的算法在满足流量不均匀的情况时都能够表现较好，但是在实际的决策中，由于遗传算法每次决策初始化种群并计算适应性函数进行迭代，其算法复杂度非常高，反映到实际的决策时间上， 遗传算法相比其他算法是数量级的差异并不合适面对流量变化迅速的实时决策。而本章的算法在满足流量需求时表现很好，时延公平性方面相比随机等算法也有较大的提升，在实际决策上，决策时间平均在\SI{1}{ms}左右，仍然能够都满足最小的时隙要求，换句话说，本章实现的算法在表现上能够解决遗传算法等启发式算法，但在决策时间上只是遗传算法的$0.3\%$。
|
||||||
\subsection{本章小结}
|
\subsection{本章小结}
|
||||||
|
|
||||||
本研究针对低轨卫星通信下行链路中的跳波束问题，提出了一种基于DQN算法
|
本章针对卫星通信跳波束资源分配问题中动作空间过大、吞吐量需求与公平性无法兼顾的问题，改进实现了一种多目标双智能体跳波束与信道联合分配方法，该方法结合了多目标优化与多智能体合作训练的方法，在复杂度与目标指标优化之间实现了兼顾。本章设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法在保持较低的算法时间复杂度的同时，保障了多波束卫星在面对空间流量不均匀场景下的性能表现。
|
||||||
跳波束和信道联合分配算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本章设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法在保持较低的算法时间复杂度的同时，保障了多波束卫星在面对空间流量不均匀场景下的性能表现。
|
|
||||||
+5
-5
@@ -1,14 +1,14 @@
|
|||||||
\chapter{总结与展望}
|
\chapter{总结与展望}
|
||||||
\section{本文总结}
|
\section{本文工作总结}
|
||||||
卫星通信具有覆盖范围广、组网灵活、不受地理环境和地形等因素影响等优点，在新一代移动通信系统中收到越来越多的关注。而随着卫星通信系统的发展，人们对卫星通信质量的要求越来越高，而可用于卫星通信的频谱资源却面临枯竭。在这种情况下，多种改进的资源分配算法逐渐被提出，能够有效提供多波束卫星的通信效率。同时，随着人工智能的快速发展，新兴的深度强化学习方法为卫星通信系统的资源分配提供了一条新思路。在这一背景下，本文对卫星通信系统的信道分配问题和跳波束资源分配问题进行了研究，对卫星通信系统中时间和空间业务分布不均匀、通信的频谱效率低等问题，研究了基于深度强化学习的资源分配和跳波束分配方法，并针对实验场景对系统性能进行了仿真分析。
|
近年来，卫星通信系统因具有覆盖范围广、组网灵活、不受地理环境和地形等因素影响等优点，在新一代移动通信系统中收到越来越多的关注。而随着卫星通信系统的发展，人们对卫星通信质量的要求越来越高，而可用于卫星通信的频谱资源却面临枯竭。在这种情况下，多种改进的资源分配算法逐渐被提出，能够有效提供多波束卫星的通信效率。同时，随着人工智能的快速发展，新兴的深度强化学习方法为卫星通信系统的资源分配提供了一条新思路。 在此背景下，本文针对卫星通信系统中存在的频谱效率低、流量时空分布不均等问题，研究了人工智能基础上的卫星资源分配方法。本文以资源分配中的信道分配和跳波束问题为出发点，研究了基于深度强化学习的信道分配算法和跳波束算，并进行了仿真分析。
|
||||||
|
|
||||||
本文的主要工作归纳如下：
|
本文的主要工作归纳如下：
|
||||||
|
|
||||||
（1）查阅文献资料，总结了卫星资源分配技术的研究与应用现状，分析了目前资源分配技术的研究方向和存在的问题，为本文的研究提供了理论基础。结合现有的卫星通信系统，建立起了卫星通信系统的架构模型，分析了使用深度强化学习方法进行资源分配研究的可行性。
|
（1）文献调研分析，总结了卫星资源分配技术的研究与应用现状，分析了目前资源分配技术的研究方向和存在的问题，为本文的研究提供了理论基础。结合现有的卫星通信系统，建立起了卫星通信系统的架构模型，分析了使用深度强化学习方法进行资源分配研究的可行性。
|
||||||
|
|
||||||
（2）提出了基于深度强化学习的低轨卫星通信信道分配方法，应用系统阻塞率作为系统的优化函数将问题抽象为马尔可夫决策过程，将系统分配问题转化为了图形特征，给出了系统的频率、功率等分配的限制与策略。仿真结果表明，与传统的按需分配相比，能够有效提高系统的频谱效率和用户的通信质量。
|
（2）针对低轨卫星通信信道分配问题中的阻塞率指标，引入了深度强化学习，通过将系统问题转化成马尔可夫决策过程，将系统分配问题转化为了图形特征，给出了系统的频率、功率等分配的限制与策略。仿真结果表明，与传统的按需分配相比，能够有效提高系统的频谱效率和用户的通信质量。
|
||||||
|
|
||||||
（3） 提出了基于深度强化学习的跳波束资源分配方法，对跳波束通信场景进行抽象，建立了马尔可夫过程。通过状态重构等方式、结合单智能体算法决策与多智能体决策优点相结合，提出了一种多目标双智能体跳波束与信道联合分配方法。仿真结果表明，该方法相比随机算法、周期调度、贪心调度等能够有效提高系统的吞吐量，同时在一定程度上保证系统的公平性。同时与启发式搜索 相比，具有系统决策复杂度低，训练完成后无需根据环境变化重新构建等特点，相比遗传算法在吞吐量和公平性方面相差不大的情况下能够大大减少系统的决策时间，达到可用的程度。
|
（3）针对卫星通信跳波束资源分配问题中动作空间过大、吞吐量需求与公平性无法兼顾的问题，改进实现了一种多目标双智能体跳波束与信道联合分配方法，该方法结合了多目标优化与多智能体合作训练的方法，在复杂度与目标指标优化之间实现了兼顾。仿真结果表明，该方法相比随机算法、周期调度、贪心调度等能够有效提高系统的吞吐量，同时在一定程度上保证系统的公平性。同时与启发式搜索 相比，具有系统决策复杂度低，训练完成后无需根据环境变化重新构建等特点，相比遗传算法在吞吐量和公平性方面相差不大的情况下能够大大减少系统的决策时间，达到可用的程度。
|
||||||
|
|
||||||
|
|
||||||
\section{未来展望}
|
\section{未来展望}
|
||||||
|
|||||||
Binary file not shown.
|
Before Width: | Height: | Size: 13 KiB After Width: | Height: | Size: 305 KiB |
+229
@@ -516,3 +516,232 @@ employing geostationary satellites },
|
|||||||
journal={北京: 北京邮电大学},
|
journal={北京: 北京邮电大学},
|
||||||
year={2018}
|
year={2018}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@book{wxtxxt,
|
||||||
|
|
||||||
|
author={朱立东 and 李成杰 and 张勇 and 骆忠强},
|
||||||
|
|
||||||
|
year={2020},
|
||||||
|
|
||||||
|
title={卫星通信系统及应用},
|
||||||
|
|
||||||
|
publisher={科学出版社},
|
||||||
|
|
||||||
|
address={北京},
|
||||||
|
|
||||||
|
isbn={703065093X;9787030650931;},
|
||||||
|
|
||||||
|
language={Chinese},
|
||||||
|
|
||||||
|
}
|
||||||
|
|
||||||
|
@article{张汝波2000强化学习理论,
|
||||||
|
title={强化学习理论, 算法及应用},
|
||||||
|
author={张汝波 and 顾国昌 and 刘照德 and 王醒策},
|
||||||
|
journal={控制理论与应用},
|
||||||
|
volume={17},
|
||||||
|
number={5},
|
||||||
|
pages={637--642},
|
||||||
|
year={2000}
|
||||||
|
}
|
||||||
|
|
||||||
|
@article{尚玉昌2006动物的试,
|
||||||
|
title={动物的试-错学习行为},
|
||||||
|
author={尚玉昌},
|
||||||
|
journal={生物学通报},
|
||||||
|
volume={41},
|
||||||
|
number={1},
|
||||||
|
pages={11--13},
|
||||||
|
year={2006}
|
||||||
|
}
|
||||||
|
|
||||||
|
@article{booker1989classifier,
|
||||||
|
title={Classifier systems and genetic algorithms},
|
||||||
|
author={Booker, Lashon B. and Goldberg, David E. and Holland, John H.},
|
||||||
|
journal={Artificial intelligence},
|
||||||
|
volume={40},
|
||||||
|
number={1-3},
|
||||||
|
pages={235--282},
|
||||||
|
year={1989},
|
||||||
|
publisher={Elsevier}
|
||||||
|
}
|
||||||
|
|
||||||
|
@article{陈华根2004模拟退火算法机理研究,
|
||||||
|
title={模拟退火算法机理研究},
|
||||||
|
author={陈华根 and 吴健生 and 王家林 and 陈冰},
|
||||||
|
journal={同济大学学报: 自然科学版},
|
||||||
|
volume={32},
|
||||||
|
number={6},
|
||||||
|
pages={802--805},
|
||||||
|
year={2004}
|
||||||
|
}
|
||||||
|
@article{xiong2019deep,
|
||||||
|
title={Deep reinforcement learning for mobile 5G and beyond: Fundamentals, applications, and challenges},
|
||||||
|
author={Xiong, Zehui and Zhang, Yang and Niyato, Dusit and Deng, Ruilong and Wang, Ping and Wang, Li-Chun},
|
||||||
|
journal={IEEE Vehicular Technology Magazine},
|
||||||
|
volume={14},
|
||||||
|
number={2},
|
||||||
|
pages={44--52},
|
||||||
|
year={2019},
|
||||||
|
publisher={IEEE}
|
||||||
|
}
|
||||||
|
|
||||||
|
@article{纪明星2018天通一号卫星移动通信系统市场及应用分析,
|
||||||
|
title={天通一号卫星移动通信系统市场及应用分析},
|
||||||
|
author={纪明星},
|
||||||
|
journal={卫星与网络},
|
||||||
|
volume={4},
|
||||||
|
pages={42--43},
|
||||||
|
year={2018}
|
||||||
|
}
|
||||||
|
|
||||||
|
@article{徐冰玉2021starlink,
|
||||||
|
title={Starlink 低轨卫星通信星座深度分析},
|
||||||
|
author={徐冰玉 and 李侠宇},
|
||||||
|
journal={信息通信技术与政策},
|
||||||
|
volume={47},
|
||||||
|
number={9},
|
||||||
|
pages={16},
|
||||||
|
year={2021}
|
||||||
|
}
|
||||||
|
|
||||||
|
@article{johnson1928thermal,
|
||||||
|
title={Thermal agitation of electricity in conductors},
|
||||||
|
author={Johnson, John Bertrand},
|
||||||
|
journal={Physical review},
|
||||||
|
volume={32},
|
||||||
|
number={1},
|
||||||
|
pages={97},
|
||||||
|
year={1928},
|
||||||
|
publisher={APS}
|
||||||
|
}
|
||||||
|
|
||||||
|
@book{littman1996algorithms,
|
||||||
|
title={Algorithms for sequential decision-making},
|
||||||
|
author={Littman, Michael Lederman},
|
||||||
|
year={1996},
|
||||||
|
publisher={Brown University}
|
||||||
|
}
|
||||||
|
|
||||||
|
@article{bellman1966dynamic,
|
||||||
|
title={Dynamic programming},
|
||||||
|
author={Bellman, Richard},
|
||||||
|
journal={science},
|
||||||
|
volume={153},
|
||||||
|
number={3731},
|
||||||
|
pages={34--37},
|
||||||
|
year={1966},
|
||||||
|
publisher={American Association for the Advancement of Science}
|
||||||
|
}
|
||||||
|
|
||||||
|
@article{puterman1990markov,
|
||||||
|
title={Markov decision processes},
|
||||||
|
author={Puterman, Martin L},
|
||||||
|
journal={Handbooks in operations research and management science},
|
||||||
|
volume={2},
|
||||||
|
pages={331--434},
|
||||||
|
year={1990},
|
||||||
|
publisher={Elsevier}
|
||||||
|
}
|
||||||
|
|
||||||
|
@article{konda1999actor,
|
||||||
|
title={Actor-critic algorithms},
|
||||||
|
author={Konda, Vijay and Tsitsiklis, John},
|
||||||
|
journal={Advances in neural information processing systems},
|
||||||
|
volume={12},
|
||||||
|
year={1999}
|
||||||
|
}
|
||||||
|
|
||||||
|
@inproceedings{silver2014deterministic,
|
||||||
|
title={Deterministic policy gradient algorithms},
|
||||||
|
author={Silver, David and Lever, Guy and Heess, Nicolas and Degris, Thomas and Wierstra, Daan and Riedmiller, Martin},
|
||||||
|
booktitle={International conference on machine learning},
|
||||||
|
pages={387--395},
|
||||||
|
year={2014},
|
||||||
|
organization={Pmlr}
|
||||||
|
}
|
||||||
|
|
||||||
|
@article{lillicrap2015continuous,
|
||||||
|
title={Continuous control with deep reinforcement learning},
|
||||||
|
author={Lillicrap, Timothy P and Hunt, Jonathan J and Pritzel, Alexander and Heess, Nicolas and Erez, Tom and Tassa, Yuval and Silver, David and Wierstra, Daan},
|
||||||
|
journal={arXiv preprint arXiv:1509.02971},
|
||||||
|
year={2015}
|
||||||
|
}
|
||||||
|
@article{mnih2015human,
|
||||||
|
title={Human-level control through deep reinforcement learning},
|
||||||
|
author={Mnih, Volodymyr and Kavukcuoglu, Koray and Silver, David and Rusu, Andrei A and Veness, Joel and Bellemare, Marc G and Graves, Alex and Riedmiller, Martin and Fidjeland, Andreas K and Ostrovski, Georg and others},
|
||||||
|
journal={nature},
|
||||||
|
volume={518},
|
||||||
|
number={7540},
|
||||||
|
pages={529--533},
|
||||||
|
year={2015},
|
||||||
|
publisher={Nature Publishing Group UK London}
|
||||||
|
}
|
||||||
|
@inproceedings{van2016deep,
|
||||||
|
title={Deep reinforcement learning with double q-learning},
|
||||||
|
author={Van Hasselt, Hado and Guez, Arthur and Silver, David},
|
||||||
|
booktitle={Proceedings of the AAAI conference on artificial intelligence},
|
||||||
|
volume={30},
|
||||||
|
number={1},
|
||||||
|
year={2016}
|
||||||
|
}
|
||||||
|
|
||||||
|
@inproceedings{wang2016dueling,
|
||||||
|
title={Dueling network architectures for deep reinforcement learning},
|
||||||
|
author={Wang, Ziyu and Schaul, Tom and Hessel, Matteo and Hasselt, Hado and Lanctot, Marc and Freitas, Nando},
|
||||||
|
booktitle={International conference on machine learning},
|
||||||
|
pages={1995--2003},
|
||||||
|
year={2016},
|
||||||
|
organization={PMLR}
|
||||||
|
}
|
||||||
|
|
||||||
|
@inproceedings{mnih2016asynchronous,
|
||||||
|
title={Asynchronous methods for deep reinforcement learning},
|
||||||
|
author={Mnih, Volodymyr and Badia, Adria Puigdomenech and Mirza, Mehdi and Graves, Alex and Lillicrap, Timothy and Harley, Tim and Silver, David and Kavukcuoglu, Koray},
|
||||||
|
booktitle={International conference on machine learning},
|
||||||
|
pages={1928--1937},
|
||||||
|
year={2016},
|
||||||
|
organization={PMLR}
|
||||||
|
}
|
||||||
|
|
||||||
|
@article{schulman2017proximal,
|
||||||
|
title={Proximal policy optimization algorithms},
|
||||||
|
author={Schulman, John and Wolski, Filip and Dhariwal, Prafulla and Radford, Alec and Klimov, Oleg},
|
||||||
|
journal={arXiv preprint arXiv:1707.06347},
|
||||||
|
year={2017}
|
||||||
|
}
|
||||||
|
@inproceedings{fujimoto2018addressing,
|
||||||
|
title={Addressing function approximation error in actor-critic methods},
|
||||||
|
author={Fujimoto, Scott and Hoof, Herke and Meger, David},
|
||||||
|
booktitle={International conference on machine learning},
|
||||||
|
pages={1587--1596},
|
||||||
|
year={2018},
|
||||||
|
organization={PMLR}
|
||||||
|
}
|
||||||
|
|
||||||
|
@inproceedings{haarnoja2018soft,
|
||||||
|
title={Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor},
|
||||||
|
author={Haarnoja, Tuomas and Zhou, Aurick and Abbeel, Pieter and Levine, Sergey},
|
||||||
|
booktitle={International conference on machine learning},
|
||||||
|
pages={1861--1870},
|
||||||
|
year={2018},
|
||||||
|
organization={PMLR}
|
||||||
|
}
|
||||||
|
|
||||||
|
@article{he2013water,
|
||||||
|
title={Water-filling: A geometric approach and its application to solve generalized radio resource allocation problems},
|
||||||
|
author={He, Peter and Zhao, Lian and Zhou, Sheng and Niu, Zhisheng},
|
||||||
|
journal={IEEE transactions on Wireless Communications},
|
||||||
|
volume={12},
|
||||||
|
number={7},
|
||||||
|
pages={3637--3647},
|
||||||
|
year={2013},
|
||||||
|
publisher={IEEE}
|
||||||
|
}
|
||||||
|
|
||||||
|
@mastersthesis{杨宇龙2020多波束卫星通信系统的资源分配算法研究,
|
||||||
|
title={多波束卫星通信系统的资源分配算法研究},
|
||||||
|
author={杨宇龙},
|
||||||
|
year={2020},
|
||||||
|
school={哈尔滨工程大学}
|
||||||
|
}
|
||||||
Reference in New Issue
Block a user