3 chapters
This commit is contained in:
Junior
+100
-2
@@ -1,7 +1,105 @@
|
||||
% Copyright (c) 2014,2016,2018 Casper Ti. Vector
|
||||
% Public domain.
|
||||
|
||||
\chapter{引言}
|
||||
\pkuthssffaq % 中文测试文字。
|
||||
\chapter{绪论}
|
||||
本章概要地回顾了卫星通信的发展以及卫星通信在当前时间节点的新趋势与新发展，随后介绍了本论文选题的意义、主要的研究工作以及论文的组织架构。
|
||||
|
||||
\section{研究背景}
|
||||
卫星通信系统是一种使用卫星作为中继的通信系统，自美国发射第一颗商用卫星后，卫星通信取得了巨大的成就，彻底改变了人类的生产和生活方式。卫星通信的发展突破了传统的移动通话与短信等业务，呈现出两大发展趋势：空天地多终端一体化网络与巨型卫星星座。
|
||||
|
||||
第5代移动通信系统（5th gerneration mobile networks, 5G）是继4G（LTE、LTE-A、WiMAX
|
||||
-A）系统后提出的最新一代移动通信系统，其标准化阶段已经基本完成，目标是提供高速率、低延时、低成本、大容量以及海量连接设备的端到端通信解决方案。5G的大规模商用化正在有序的推进，能够为用户提供高质量的通信服务。但是，受限于不同国家不同的基建情况、地理环境状况以及经济发展水平，截止到2023年末，仍有大量的地区无法接入5G网络甚至接入互联网，世界上仍有34亿人口仍然没有接入移动互联网，而这其中，有90\%的人口已经处于移动网络覆盖的范围内，但这些网络却无法接入移动互联网\parencite{GSMA-2024}。与此同时，以虚拟现实（Virtual Reality，VR）和增强现实（Advanced Reality，AR）为主的现实扩展服务、物联网、脑机接口等新兴的服务产生的数据需求已经远远地超过了当前5G网络所能支持的范围。而在这一背景下，卫星通信系统具有以下特点：
|
||||
\begin{itemize}
|
||||
\item 覆盖范围广，受地形影响小。通过卫星的中继，可以覆盖到全球所有地域的用户，包括一些人迹罕至、缺乏地面基础设施建设条件的区域。
|
||||
\item 组网灵活。卫星通信系统具有高度的灵活性与可调整性，卫星组网可以根据特定的应用需求和环境的变化进行配置的优化，实现多种运营模式。
|
||||
\item 较低的延迟与成本。
|
||||
\end{itemize}
|
||||
这些特征使得卫星通信系统成为地面移动通信系统的有力补充和扩展。在5G通信网络大规模部署的背景之下，第六代移动通信系统（6th gerneration mobile networks，6G）将视野更多地转向了卫星通信系统这一蓝海。传统的天基卫星通信系统与地面蜂窝网络系统长期各自独立发展，系统之间存在较大的胡同成本与差异。各国的相关研究机构与商业组织都曾经探索过多种形式和多种方式的手机与卫星的天地网络一体化方式\parencite{laursen2023no}，但直到2022年，苹果公司推出了能够直接使用卫星通信服务的iPhone14系列手机设备，地面移动蜂窝通信系统与天基卫星通信系统的一体化进程才取得实际上的进展。但是苹果公司使用的GLobalStar公司提供的卫星通信系统只支持紧急状态下的双向通信，不支持语音通信。2023年下半年，随着华为公司的Mate 60Pro系列的问世，我国成功
|
||||
生产出全球首款同时支持卫星电话、短信与地面移动通信的大众消费级智能手机终端产品，这些都证明了手机直连卫星技术上的可行性。
|
||||
|
||||
卫星通信系统作为卫星通信的中继，根据与地球的距离和轨道的高低可以划分为同步轨道卫星、中轨道卫星以及地轨道卫星三种。近些年来，相较于中轨和高轨的卫星通信系统，低轨卫星通信系统由于具有延时更小、更高的速率和更轻量化与小型化的特点，逐渐成为了全球各国在卫星通信互联网与6G通信领域争夺的主要焦点（表\ref{tab:leos}）。以2016年11月15日美国SpaceX公司宣布StarLink计划的开展为标志\parencite{mcdowell2020low}，以大规模低轨卫星星座为主要载体的卫星通信互联网如雨后春笋般迅速发展起来。
|
||||
|
||||
随着全球各国争夺卫星频段与轨道的竞争愈发激烈，我国也在加速低轨卫星互联网的建设布局。我国的星座建设在自2021年中国星网组建以来逐步走向了由国家统一协调、统筹频段与轨道的资源分配规划，充分发挥了我国集中力量办大事制度优越性。
|
||||
|
||||
\begin{table}[hbpt]
|
||||
\caption{部分国家规划的卫星互联网计划}
|
||||
\centering
|
||||
\label{tab:leos}
|
||||
\begin{tabular}{cccccc}
|
||||
\toprule
|
||||
国家 & 星座名称 & 规划数量 & 预计建成时间 & 轨道 & 频段 \\
|
||||
\midrule
|
||||
美国 & StarLink & 11926 & 2027 & 1130km & Ku/Ka/V \\
|
||||
美国 & NGSO\parencite{leyva2022ngso} & 2956 & - & 1200km & V \\
|
||||
美国 & Kuiper\parencite{osoro2021techno} & 3236 & - & 590-530km & Ka \\
|
||||
英国 & OneWeb\parencite{henri2020oneweb} & 1280 & 2029 & 1200km & Ku/Ka \\
|
||||
加拿大 & LightSpeed\parencite{jansson2022telesat} & 298 & - & 1248km & Ka \\
|
||||
\bottomrule
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
|
||||
尽管卫星通信网络的不受地形限制，并且具有较低的成本和广阔的地域覆盖能力，但是考虑到卫星通信的较长的链路距离、较大的传播时延以及星上资源的有限性等问题，当前的卫星通信仍具有很大的挑战。现有的卫星通信系统为了兼顾广阔的覆盖范围与较高的卫星天线增益，通常采用多波束卫星的技术。多波束卫星系统的通过频率复用的形式提高系统的带宽容量，提升频谱的利用率。但多波束卫星的使用与频率复用的机制带来了波束之间的同频干扰（Co-Channel Interference，CCI）等影响。在这样的背景下，以如何有效的针对用户需求进行星上资源的分配与调控，为用户实现即时可靠的数据通信服务具有重要的理论意义与现实意义。传统的卫星通信系统在考虑同频干扰情况下，多波束卫星的资源分配是一个NP-Hard（non-deterministic polynomial-time hardness，非确定性多项式时间困难\parencite{garey1974some}）问题\parencite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}，这表明解决卫星资源分配问题难以在一个限定的多项式时间内稳定找到最优解，解决这一问题的时间消耗较大，寻找到某种较低复杂度的算法实现星上资源分配的优化是一个亟待解决的问题。
|
||||
|
||||
% 近年来，伴随着AlphaGo、ChatGPT等人工智能应用的出现，为解决这一问题提供了一条可行的路线。人工智能技术通过利用计算机技术的形式模拟人类的某些智能行为和过程，例如学习、推理等。随着强化学习技术在以ChatGPT为代表的生成式人工智能大模型中被广泛应用，掀起了新一代人工智能技术的新浪潮。强化学习（Reinforcement Learing, RL）是机器学习中除了监督学习和非监督学习之外的另一种基本机器学习方式，强化学习不需要预先做好标签的输入与输出对，其主要关注在对未知知识的探索和利用已有知识的平衡，是一种探索-学习-重复探索的过程，具有通过自我学习环境与过往经验提高处理问题能力的特点，在视频游戏、机器人控制、预测决策等领域有着广泛应用。
|
||||
|
||||
近年来，随着人工智能应用如AlphaGo、ChatGPT等的出现，为解决诸多问题提供了新的思路和方法。人工智能技术通过模拟人类的智能行为和过程，如学习、推理等，利用计算机技术的手段实现了以前难以想象的任务。特别是强化学习技术在生成式人工智能大模型中的广泛应用，如ChatGPT等，引领了新一轮人工智能技术的发展浪潮。
|
||||
|
||||
强化学习（Reinforcement Learning, RL）作为机器学习的一种基本方式，与监督学习和非监督学习相辅相成。与监督学习不同，强化学习不需要预先提供标记好的输入输出对，而是专注于在未知知识的探索和已有知识的利用之间寻找平衡。它是一种不断探索、学习和重复实践的过程，能够通过自我学习环境和过往经验来提高问题处理能力。因此，在视频游戏、机器人控制、预测决策等领域得到了广泛应用。
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.45\textwidth]{chap/figures/rlgame.png}
|
||||
\caption{强化学习技术战胜人类的游戏场景}
|
||||
\label{fig:rlgame}
|
||||
\end{figure}
|
||||
|
||||
|
||||
强化学习的技术源于行为主义心理学理论（Behaviorism Theory）中试错学习，同时与控制领域中的最优控制理论、近似动态规划（Approximate Dynamic Programming，ADP）等合流形成\parencite{kaelbling1996reinforcement}\parencite{russell2016artificial}\parencite{sutton2018reinforcement}。试错学习的思想就是动物或其他智能体通过反复的过程完成学习，动物出于某种动机采取一定的行动，在采取行动后能够得到某种刺激，刺激与实现动机的行动之间产生映射关系，正面的刺激会强化采取该行为的期望，而负面的刺激会削弱采取行为的期望，为了实现动机就会重复采取行动从而实现最终的目标\parencite{morales2012introduction}。强化学习的基本思想就是模拟生物的这种为了适应环境而进行进化的过程，自主地学会如何在环境中采取行动，以获得最大的奖励。
|
||||
|
||||
相较于无监督学习和有监督学习，强化学习的方法更加灵活。在无监督学习和有监督学习中，解决问题需要明确定义问题和解决问题的模式。而在强化学习中，更多地关注确定可以采取的行动，而不需要明确规定如何执行这些行动。通过不断地尝试和错误，强化学习系统可以自主学习并逐步优化其行动策略，最终达到最优解。
|
||||
|
||||
强化学习在优化决策、解决问题等方面具有广泛的应用，例如棋牌对弈、机器人模拟等。值得注意的是，强化学习与卫星通信系统的星上资源分配问题具有一定的相似性。在卫星通信系统中，卫星需要根据不同的卫星业务申请和当前的通信环境，为每个用户提供相应的资源分配。然后，根据资源分配的反馈信息，优化全局的通信业务决策策略。在这样的环境下，强化学习可以被视为一种有效的方法，通过不断地学习和调整，来实现资源分配的最优化。
|
||||
|
||||
\section{研究现状}
|
||||
|
||||
在人工智能技术发展迅速的当今，对卫星资源分配的有关研究也主要分为了两大类别：一是传统的卫星资源分配与调度算法的研究，另一种是基于人工智能技术的资源分配算法。
|
||||
|
||||
|
||||
% 这里应该有固定分配算法的东西
|
||||
|
||||
相比于传统固定分配算法，注重频谱和能量效率的资源分配策略一直是卫星通信系统以及地面卫星通信系统的主要研究方向，在无线通信系统中能量效率和频谱效率被视为一个多目标优化问题\parencite{7093179}。在地面通信系统中，关于多输入多输出通信系统（Multi-Input Multi-Output, MIMO）\parencite{tse2005fundamentals}中关于能量效率和频谱效率的优化关系已经有了比较全面讨论与诠释\parencite{heliot2012energy}，\parencite{xiong2011energy}对采用了正交频分复用多址（Orthogonal frequency division multiple access, OFDMA）\parencite{tse2005fundamentals}的无线通信系统两者之间的权衡进行了讨论。在卫星通信系统中，这一方面的研究更为重要，围绕着有限的功率、频谱、缓存等资源，有多种动态资源优化算法提出。
|
||||
|
||||
在不考虑共频干扰时使用拉格朗日乘数法（）可以很好地实现基于的波束上流量需求进行动态功率的分配算法\parencite{choi2005optimum}。考虑CCI之后，解决资源分配优化问题经常使用的例如拉格朗日对偶法等求解困难，\parencite{wang2014optimization}尝试在使用拉格朗日对偶法解决引入CCI的多波束卫星系统功率分配问题，求解效率低下，而且随着波束数目的增加，无法获得确切的求解表达式。随后，为了降低算法复杂度，遗传算法（Genetic Algorithm, GA）、模拟退火（Simulated Annealing, SA）等启发式搜索算法被应用到多波束卫星系统的功率分配中。这些算法一定程度上实现了最大化系统容量和最小化系统功率之间的权衡。
|
||||
|
||||
卫星的载荷资源主要是通过分配星上的发射功率资源以及的分配频率资源，而频率资源分配又可以进一步细分为时分复用的时隙分配和频分复用的信道资源分配。多波束卫星系统中最传统的资源分配算法是固定资源分配，各个波束和小区得到的资源分配是较为固定的，通过四色复用、七色复用等形式，实现波束之间的固定信道分配，但是随着低轨卫星系统的发展，多波束系统的波束覆盖随着时间的变化会有较大的流量波动，不同波束之间流量需求差异大、变化快，固定信道分配方式无法适应当前卫星通信发展的新趋势。动态信道分配技术能够允许系统的各个波束任意、灵活地选择系统的可用信道，通过改变载波等的分配，灵活匹配了来自各个小区的通信需求，提高整个系统的性能。基于特定设计的两个代价函数，文献\parencite{del1995efficient}提出了一种动态信道分配算法，这一算法相比固定信道分配算法有效提高了系统的接通率，但是存在着业务场景缺少动态变化并且算法的计算复杂度仍然较高的问题，与当前快速发展的大规模低轨卫星星座系统不适应。随着系统波束数目的增加，传统的动态信道分配算法也陷入了算法复杂度高的问题，为了应对这些挑战，\parencite{umehira2012centralized}提出了复杂度较低的算法方法，这些都在追求系统频谱效率与用户公平性的统一。
|
||||
|
||||
|
||||
人工智能技术的发展引起了大家的广泛关注，人工智能和机器学习等已经在多个不同的研究领域内被证明是解决复杂问题的有效方法。脱胎于强化学习方法的深度强化学习（Deep Reinforcement Learning，DRL）在解决通信系统资源分配问题上已经获得理论与实践上的支持，例如无线蜂窝通信系统的资源分配等。基于DRL方法的卫星系统资源优化问题中也有了一定的应用，这种线下训练、线上部署运行的无模型方法在许多问题上证明了其有效性。文献\parencite{liu2018deep}提出了将DRL技术应用到卫星资源分配领域的基本框架，通过将地面用户的业务需求转换为张量的形式建立起同步轨道卫星多波束卫星资源分配基本思路。文献\parencite{}提出了使用连续的状态空间与动作空间的DRL学习架构避免了需求的离散化。现有使用DRL进行动态资源管理的方法多聚焦于同步轨道卫星资源的动态分配，对于低轨卫星而言其具有较高的运动速度，资源状况与同步轨道卫星资源差距较大。
|
||||
|
||||
|
||||
综上所述，国内外已经有了众多关于多波束卫星动态资源的研究，从研究路径上看，从传统的拉格朗日对偶法，到经典的遗传算法等启发式搜索算法，再到人工智能领域的算法，但现有基于人工智能的算法仍然存在着一些不适应问题，值得有待深一步的研究。
|
||||
% 在传统的算法领域，通常而言面对卫星有限的星上资源的特点，优化功率、频谱等分配都是卫星通信研究的热点领域，而功率和频谱效率优化相关的研究也是地面无线通信系统的重要课题。在地面无线通信领域方面的研究已经比较充分了。
|
||||
|
||||
|
||||
|
||||
\section{论文的研究内容与组织架构}
|
||||
|
||||
\subsection{主要研究内容}
|
||||
本文结合新一代卫星系统的背景，主要分析和研究了地轨卫星通信系统中动态资源管理问题，从可行性、所面临的挑战等方面出发，借助相关理论和一定的工具建立了相关的模型。
|
||||
|
||||
针对低轨卫星资源受限问题，提出了一种基于的深度Q网络的算法，该算法基于强化学习的框架，结合了深度学习与强化学习优势，建立起优化模型，以系统的阻塞率、吞吐量、能量效率作为优化目标，为了用户分配信道。
|
||||
\subsection{论文组织架构}
|
||||
本文分为五个章节，各章安排如下：
|
||||
|
||||
|
||||
第一章为绪论。首先阐释了卫星通信系统的现状，研究卫星通信系统中动态资源分配的意义。然后是调研国内外对于卫星资源分配技术以及人工智能应用于该领域的研究现状，明确了研究内容。
|
||||
|
||||
|
||||
第二章为多波束卫星系统以及强化学技术的相关介绍。首先是对多波束卫星通信系统进行了介绍，主要介绍了卫星通信系统的架构、多波束天线、卫星的链路损耗与链路特征、波束间频率复用技术，为之后的系统模型建立理论基础。其次，本章介绍了启发式算法和强化学习的基本原理、概念和特征，对本文中使用的强化学习方法进具体的介绍和分析。
|
||||
|
||||
第三章是基于深度强化学习的低轨卫星资源分配算法，为本文研究的主要内容。首先主要介绍了本文所提出的算法的基本应用场景，并对用户的业务需求场景、卫星的信道分配问题进行了详细的介绍和分析建模。以此为基础，详细介绍了本文提出的算法实现细节，包括算法的状态空间、动作空间、奖励函数等级制。
|
||||
|
||||
第四章主要是
|
||||
|
||||
|
||||
第五章是总结与展望。对本文所做工作从方法原理和效果上都进行了一定的总结，指出了本文方法的优势与缺点，对下一步工作进行了展望与分析。
|
||||
% vim:ts=4:sw=4
|
||||
|
||||
+429
-3
@@ -1,7 +1,433 @@
|
||||
% Copyright (c) 2014,2016 Casper Ti. Vector
|
||||
% Public domain.
|
||||
|
||||
\chapter{章节}
|
||||
\pkuthssffaq % 中文测试文字。
|
||||
\chapter{多波束卫星系统概述}% 中文测试文字。
|
||||
\section{引言}
|
||||
多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及能够满足越来越大的系统容量需求等特点，正在受到更加广泛的关注和研究。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国在民用手机直连卫星领域广泛发展的天通系统，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quatinty of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值。
|
||||
|
||||
% vim:ts=4:sw=4
|
||||
基于多波束卫星的资源分配问题，本章将介绍多波束卫星通信系统的基础知识背景，首先将简要地介绍多波束卫星系统的基本构成，对多波束卫星系统常用的技术进行整理归纳；之后，本文将讨论卫星通信系统中必不可少的空间传输特性；最后，本章将对本文中使用到的序列决策模型和深度学习技术进行介绍。
|
||||
\section{多波束卫星系统主要结构}
|
||||
\subsection{基本组成}
|
||||
卫星通信系统是指通过人造卫星作为中继站对信号进行转发实现地面与地面、地面与空间等多种不同设备终端通信传输的系统。卫星通信系统主要组成包括空间段、用户段、地面段，如图\ref{fig:leo}所示。空间段主要是指在轨卫星以及其组成的星座。地面段部分主要是由信关站和控制中心组成，信关站主要用于实现对卫星的跟踪、遥控，提供对卫星的管理控制以保证卫星的在轨正常运行。用户段是用户使用卫星进行通信的终端的集合，包括手持卫星终端（如卫星电话、支持卫星通话的手机等）、固定终端（如StarLink网络中使用的用于接收卫星信号的终端等）、机动终端（如车载卫星终端、能够提供空中卫星上网服务的飞机等）。卫星与用户终端的通信链路是用户链路（User Link），根据数据传输方向又可以分为上行链路与下行链路。卫星与地面信关站之间通过馈电链路（Feed Link）进行通信，而卫星星座之间的卫星间通信通过星间链路（Inner-Satellite Link）进行。
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.7\textwidth]{chap/figures/leo.pdf}
|
||||
\caption{卫星通信系统}
|
||||
\label{fig:leo}
|
||||
\end{figure}
|
||||
|
||||
\subsection{波束与频率复用}
|
||||
|
||||
|
||||
如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出地面蜂窝通信系统类似的蜂窝状结构。根据公式\ref{eq:gain_alpha},波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡等特征。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。
|
||||
|
||||
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.45\textwidth]{chap/figures/starlink_direct_to_cell.jpg}
|
||||
\caption{StarLink波束覆盖范围}
|
||||
\label{fig:starlinkrange}
|
||||
\end{figure}
|
||||
|
||||
波束频率间复用技术（frequency reuse, FR）就是将可以的带宽分多个不同的子波段，每一个波段可以在波束内进行复用，频率复用通过$N$色复用的形式描述，即将信道资源以均等的形式分配为多个分组，这样同一信道的就可以在多个不同小区的波束之间进行复用，从而提升频率效率和容量。图\ref{fig:fourcolor}展示了一个四色复用的例子，使用$N$色复用的情况下，波束的宽度设置为$\theta_b$，那么波束最小距离$\theta_c$ 为:
|
||||
\begin{equation}
|
||||
\theta_c = \frac{\theta_b\sqrt{3N}}{2}
|
||||
\label{eq:minbw}
|
||||
\end{equation}
|
||||
|
||||
在图\ref{fig:fourcolor}所示四色复用方案中，根据公式\ref{eq:minbw}计算得到波束最小距离为$\sqrt{3}\theta_b$，即每个小区在相隔一个波束距离外可以使用相同的信道。
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.75\textwidth]{chap/figures/beam_four_color.png}
|
||||
\caption{四色复用示意图}
|
||||
\label{fig:fourcolor}
|
||||
\end{figure}
|
||||
|
||||
不同方案的频率复用方式能够带来不同的频谱效率（定义为单位带宽上的信道容量），图\ref{fig:freqency_efficient}分析了在卫星发射功率一定、波束间功率相等的情况下，不同$N$的频率复用方案中频谱效率在不考虑共频干扰情况下随着波束数量的关系的变化图。相比而言，采用多波束频率复用方案的情况下，频谱效率随着波束数量的增加而增加，在波束数量相同的情况下，频率复用程度越高，效率也就越高。但随着频谱复用程度的提高，同频干扰的程度也会增加，在星上有效载荷有限的情况下，在面对不同波束用户需求的场景下，如何合理动态的分配频率资源实现用户QoS与频谱效率的平衡，是本文的研究重点。
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.75\textwidth]{chap/figures/freqency_efficient.png}
|
||||
\caption{频谱效率随波束数量的关系图}
|
||||
\label{fig:freqency_efficient}
|
||||
\end{figure}
|
||||
|
||||
% \subsection{gvdc gcdu 工作频段}
|
||||
% 卫星通信系统的工作频段由国际电信联盟（International Telecommunication Union， ITU）进行统一协调管理，应用于卫星通信系统的主要频段有L、S、C、X、Ku、K、Ka、V等波段。
|
||||
|
||||
|
||||
|
||||
% 多波束卫星系统优异的系统传输性能吸引了越来越多的研究，其中资源分配、波束成形等技术手段越来越多地成为了研究的热点。在资源分配领域，由于波束的小区存在天气、地理环境、用户数量上的差异，不同的波束的用户量以及通信数据的需求之间也有所差别。由于星上的有效载荷限制，多波束卫星的星上资源如频谱资源、功率资源等十分有限，针对不同的传输需求，如何在星上有效载荷有限的情况下，尽可能满足用户端的需求，具有重要意义，也是本文的研究重点。
|
||||
\section{空间传输特性}
|
||||
|
||||
\subsection{天线增益}
|
||||
卫星使用天线进行上行信号的接收和下行信号的发射，并且实现对信道的放大处理。多波束天线主要包括了多波束相控阵天线、多波束透镜天线以及反射面天线等三种。反射面天线常用于同步轨道上卫星通信系统，透镜天线则应用较少。相控阵天线在多波束卫星通信系统中有着越来越广泛的应用，包括StarLink在内的近地轨道卫星全球互联网接入服务都是用了有源相控阵天线技术为了为用户提供技术服务。多波束卫星的相控阵卫星天线有多个相同的天线元间距均匀排列而成，通过波束形成网络激励生成所需要的不同形状的相互独立的波束，对波束的数目等进行灵活的配置与管理。下面以多波束天线为例，给出多波束卫星天线的传输模型。
|
||||
|
||||
天线增益是对一定方向上信号发射和接收的能力，天线在其最辐射方向上具有最大的增益，可以表示为：
|
||||
\begin{equation}
|
||||
G_t = \frac{4\pi}{\lambda ^ 2} A_e
|
||||
\label{eq:gain}
|
||||
\end{equation}
|
||||
|
||||
|
||||
其中，$A_e$是天线的等效口径面积，$\lambda$是信号载波的波长，满足$\lambda=\frac{c}{f}$,$c$是光速，$f$是载波频率。天线的等效口径面积$A_e = \eta A = \eta \cdot \pi D^2 /4$ ，$D$是天线的口径，$\eta$是天线的效率，\ref{eq:gain}可以改写为：
|
||||
\begin{equation}
|
||||
G_t = \eta (\frac{\pi D f}{c})^2
|
||||
\label{eq:gain1}
|
||||
\end{equation}
|
||||
该式表明，卫星天线的最大增益与天线口径面积成正比、与信号载波频率的平方成正比。以图\ref{fig:spaceX}，卫星波束的覆盖范围由半波束角($\alpha_0$)和仰角（$\theta$）表述，通常以3dB波束宽度或者半功率波束宽度表述天线宽度：
|
||||
\begin{equation}
|
||||
\alpha_{3dB} = 70(c/fD) = 2\alpha_0
|
||||
\label{eq:3dB}
|
||||
\end{equation}
|
||||
从而最大增益可以写为：
|
||||
\begin{equation}
|
||||
G_m = \eta (\frac{70\pi}{\alpha_{3dB}})^2
|
||||
\label{eq:gm}
|
||||
\end{equation}
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.45\textwidth]{chap/figures/spaceX_gen2.jpg}
|
||||
\caption{波束覆盖范围示意图}
|
||||
\label{fig:spaceX}
|
||||
\end{figure}
|
||||
$\alpha$多波束天线的辐射特性由主瓣和旁瓣组成，
|
||||
设主瓣天线方向角为$\alpha$时的增益为$G(\alpha)$，那么主瓣的辐射特性可以写为：
|
||||
\begin{equation}
|
||||
G(\alpha) = G_m - 3(\alpha/ \alpha_0)^2, 0 \le \alpha \le \alpha_0
|
||||
\label{eq:gain_alpha}
|
||||
\end{equation}
|
||||
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.85\textwidth]{chap/figures/pban.png}
|
||||
\caption{旁瓣辐射特征}
|
||||
\label{fig:pb}
|
||||
\end{figure}
|
||||
|
||||
天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的共频干扰。ITU给出了各种多波束天线的旁瓣辐射特征\parencite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了四部分(\ref{fig:pb})，用公式表示为：
|
||||
|
||||
\begin{equation}
|
||||
G(\alpha) = \begin{cases}
|
||||
G_m - 3(\frac{\alpha}{\alpha_0})^2 &\alpha_0 \le \alpha \le a \alpha_0 \\
|
||||
G_m + L_s & a \alpha_0 \le \alpha \le b \alpha_0 \\
|
||||
\max \{G_m + L_s +20-25 \log_{10}(\frac{\alpha}{\alpha_0}), 0 \} & \text{else}
|
||||
\end{cases}
|
||||
\label{eq:Gt}
|
||||
\end{equation}
|
||||
|
||||
其中，$L_s$代表峰值增益时的旁瓣增益。参数$a,b$取值如表\ref{tab:bs}。
|
||||
|
||||
|
||||
\begin{table}[hbpt]
|
||||
\centering
|
||||
\caption{波束天线相关参数}
|
||||
\label{tab:bs}
|
||||
\begin{tabularx}{0.75\textwidth}{XXX}
|
||||
\toprule
|
||||
$L_s(\mathrm{dBi})$ & $a$ & $b$\\
|
||||
\midrule
|
||||
-20 & 2.58 & 6.32 \\
|
||||
-25 & 2.88 & 6.32 \\
|
||||
-30 & 3.16 & 6.32 \\
|
||||
\bottomrule
|
||||
\end{tabularx}
|
||||
\end{table}
|
||||
|
||||
\subsection{链路损耗}
|
||||
卫星通信系统中，星地链路的传播特性影响并决定这系统的通信质量，本部分将介绍星地链路的基本传输特性与损耗特性，为后续建立系统模型进行铺垫。
|
||||
\subsubsection{路径损耗}
|
||||
|
||||
卫星通信与用户终端之间存在多种不同衰减的影响，使用分贝形式可以表达为
|
||||
\begin{equation}
|
||||
L = L_f + L_g + L_r
|
||||
\label{eq:Loss}
|
||||
\end{equation}
|
||||
|
||||
其中$L_f$ 代表自由空间传播损耗，$L_g$ 代表大气吸收损耗，$L_r$ 雨衰。
|
||||
\begin{enumerate}[label=(\arabic*)]
|
||||
\item 自由空间传播损耗：电磁波在星地之间进行传播时，信号能量将会随着距离的增加而进行扩散，由此会产生的传播损耗被称为自由空间传播损耗\parencite{ziyoukongjian}。自由空间传播损耗是最基本的传播损失，由于自由空间的传播损失，用户终端接收到的信号功率仅占发射功率极小部分。自由空间的传输损耗与传播距离的平方成正比，与载波波长成反比，由此定义自由空间传播损耗$L_f$为
|
||||
|
||||
\begin{equation}
|
||||
L_f = (\frac{4\pi d}{\lambda})^2 = (\frac{4\pi d f}{c})^2
|
||||
\label{eq:Lf}
|
||||
\end{equation}
|
||||
|
||||
其中，$\lambda$为载波波长，$d$传输距离，$f$为频率，$c$为光速。而在链路性能的计算公式中，通常以分贝作为单位，改写为：
|
||||
|
||||
\begin{equation}
|
||||
L_f = 20\log_{10} d + 20 \log_{10} f + 92.44
|
||||
\label{eq:LfdB}
|
||||
\end{equation}
|
||||
\item 大气吸收损耗：大气吸收损耗取决于载波频率、用户的仰角、海拔高度等，设仰角为$E$，工程上大致计算为
|
||||
\begin{equation}
|
||||
L_g = \frac{0.042\exp^{0.0691f}}{\sin E}
|
||||
\label{eq:Lg}
|
||||
\end{equation}
|
||||
\item 雨衰：雨衰是电磁波在雨层中传输所引发的衰减，包括雨粒散射的衰减和吸收的衰减，计算方法为
|
||||
\begin{equation}
|
||||
L_r = \gamma_r L _E
|
||||
\label{eq:Lr}
|
||||
\end{equation}
|
||||
$\gamma_r$代表一年内$0.01\%$时间中的降雨概率决定的衰减因子，$L_E$代表有效长度\parencite{series2015propagation}。
|
||||
\end{enumerate}
|
||||
|
||||
\subsubsection{系统噪声}
|
||||
|
||||
在卫星通信系统中，从卫星发射端对接收端的信号检测解调过程中，都存在这噪声的干扰，根据奈奎斯特公式，噪声的功率为
|
||||
\begin{equation}
|
||||
N = kTB
|
||||
\label{eq:noise}
|
||||
\end{equation}
|
||||
$T$为系统的的噪声温度(单位：\si{\kelvin})，$k$为玻尔兹曼常数（$k=\SI{1.39e-23}{\joule\per\kelvin}$），$B$为链路的传输带宽。
|
||||
|
||||
\subsubsection{全链路模型}
|
||||
卫星通过发射机将天线发送到自由空间中，产生链路损耗信道衰落等，最终经过接收天线接收到有效的信号，接收端接收的信号的功率为
|
||||
\begin{equation}
|
||||
P_r = \frac{P_tG_tG_r}{L}
|
||||
\label{eq:P_R}
|
||||
\end{equation}
|
||||
$P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益和新账号的发射增益。$L$代表传输的损耗，包括自由空间传播损耗以及其他损耗。
|
||||
|
||||
实际系统中，定义天线的发射增益事最大辐射方向单位立体角发射功率和各向同性天线的单位立体角 发射功率之比，等效各向同性辐射功率（Effective Isotropic Radiated Power, EIPR）为
|
||||
|
||||
|
||||
\begin{equation}
|
||||
EIPR = G_t P_t
|
||||
\label{eq:eipr}
|
||||
\end{equation}
|
||||
|
||||
为了衡量接收系统的性能，定义接收端天线增益与接收端系统噪声温度之比为接收系统的品质因数，记作$\frac{G}{T}$。
|
||||
|
||||
载噪比$C/N$是接收到的载波功率与系统的噪声功率之间的比值，是衡量卫星链路质量情况的重要指标，接收端载噪比可以写为：
|
||||
\begin{equation}
|
||||
C/N = \frac{P_r}{N} = \frac{P_tG_tG_r}{L_fL_0kTB}
|
||||
\label{eq:CNR}
|
||||
\end{equation}
|
||||
其中$L_0$表示除自由空间损耗的其他损耗。结合式\ref{eq:LfdB},使用分贝单位表示为
|
||||
|
||||
\begin{equation}
|
||||
C/N = EIRP + \frac{G}{T} - (L_f + L_0) - B - 228.6
|
||||
\label{eq:CNRdB}
|
||||
\end{equation}
|
||||
|
||||
\section{优化问题建模}
|
||||
|
||||
在一定时间序列内对卫星资源进行分配可以视为是序列决策问题，是资源管理中常见的优化问题。这一问题通常被建模为马尔可夫决策过程（Markov Decision Process，MDP）\parencite{russell2016artificial}，本节主要对序列决策和MDP进行阐述。
|
||||
\subsection{序列决策概述}\label{sec:decision}
|
||||
在控制理论中，序列决策通常涉及到在一系列离散的时间步骤里，根据当前系统状态和信息，进行一系列的决策，以达到某种优化目标。在优化问题中，序列决策的每一个步骤都会对后续决策和整体的性能产生影响，但在局部看，序列决策的结果并不一定是最优结果。例如数学、管理学和计算机科学等领域应用较多的动态规划算法（Dynamic Programming，DP），会将整体问题拆解为具有重复子问题和最优子结构的序列决策问题，通过最小化或最大化某种目标函数的形式得到整体问题的最优解。另一个常见的场景是的棋牌类比赛中，下棋的每一步都会对整个后续棋局造成影响，单步的下棋策略往往不是最优甚至某些时候是非常糟糕的策略，而整体的收益会在比赛结束后得到结果。
|
||||
通常，序列决策问题的求解有多重方法。当所有可能的状态完全已知或者问题具有固定的概率分布，可以通过编程实现有限状态机的方法进行求解。这样方法要求在软件设计阶段，程序开发人员能够遇见到所有可能的情况。但是在实际的问题中，状态空间和动作空间都具有不确定性，穷举所有状态、设计有限状态机的方法不再现实。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\parencite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）等方式，能够有效的解决序列决策问题。
|
||||
|
||||
\subsection{马尔科夫决策过程}
|
||||
|
||||
马尔科夫决策过程是描述决策问题的数学框架，其基于马尔科夫链和决策理论的结合，可以使用四元组进行描述$<\mathcal{S},\mathcal{A},T,R>$，即状态空间、动作空间、状态转移函数和奖励函数：
|
||||
\begin{enumerate}
|
||||
\item \textbf{状态空间（State Space）}：状态空间是描述系统状态的集合，通常用$S\mathcal{S}$表示，$s \in \mathcal{S}$表示系统的一个状态。每个状态代表系统在当前时间节点特定的情况或者配置。状态空间可以分为离散状态空间和连续状态空间，离散的状态空间通常用有限的集合表示，表示状态空间的有限性。例如在围棋中，如果将棋盘棋子情况作为状态，每个格点可以有三个状态之一：空、黑棋、白棋，那么状态空间的大小为$3^{361}$。而连续的状态空间代表有无限的状态，例如机器人在二维平面上移动的问题，其状态空间可以视为是二维笛卡尔坐标系，每个点$(x,y)$都可以视为一个状态，其状态的表征具有无限的可能性。
|
||||
\item \textbf{动作空间（Action Space）}：动作是运动系统从一个状态到另一个状态的操作，动作的集合成为动作空间，通常用$\mathcal{A}$表示，$a \in \mathcal{A}$表示系统的一个动作。同样地，动作空间也可以分为离散动作空间和连续动作空间。围棋的动作空间可以表示为在棋盘上放置一颗棋子，其可能的动作数量为$361$个，是有限的；可以用机器人的速度$(v_x, v_y)$代表二维空间机器人移动问题的动作，该动作是无限的。状态空间和动作空间的离散性并不是对应的关系，存在状态空间是连续的，动作空间是离散的情况，同样存在状态空间离散但动作空间连续的情况。
|
||||
\item \textbf{状态转移函数（Transition Function）}：状态转移函数是描述系统在某个状态下执行某个动作后，系统转移到下一个状态的概率分布，通常用$T(s,a,s')$表示，$T(s,a,s')$表示在状态$s$执行动作$a$后，系统转移到状态$s'$的概率。状态转移函数满足概率密度函数的一般特性，即
|
||||
\begin{align}
|
||||
\sum_{s'\in S} T(s, a, s') = 1, \forall s \in \mathcal{S}, a \in \mathcal{A} \\
|
||||
\int_{s' \in S} T(s, a, s') = 1, \forall s \in \mathcal{S}, a \in \mathcal{A}
|
||||
\label{eq:T_1}
|
||||
\end{align}
|
||||
同时概率转移函数满足马尔可夫性，即状态的转移只依赖于当前的状态和动作，与历史状态和动作无关，即
|
||||
\begin{equation}
|
||||
P(s_{t+1}|s_t,a_t,s_{t-1},a_{t-1},\dots) = P(s_{t+1}|s_t,a_t)
|
||||
\label{eq:markov}
|
||||
\end{equation}
|
||||
\item \textbf{奖励函数（Reward Function）}：奖励$R(s,a)$是指在状态$s$时执行动作$a$所能够得到系统反馈值，奖励函数是一个实数函数，可以分为正向奖励和负向奖励，分别代表执行对应的动作系统的鼓励和惩罚，奖励函数的目标是最大化奖励的总和。奖励函数代表了系统对动作与状态间对应关系的反馈。MDP动作与状态之间的关系成为策略（policy），策略分为确定性策略与随机策略，确定型策略表示为：$\pi:\mathcal{S}\rightarrow \mathcal{A}$，代表一个状态到动作的映射关系；随机策略表示为$\pi:\mathcal{S}\times \mathcal{A} \rightarrow [0,1]$，$\pi(s,a)$代表状态$s$下选择动作$a$的概率，满足$\int_{a\in\mathcal{A}} \pi(s,a) = 1$。
|
||||
\end{enumerate}
|
||||
\section{深度强化学习技术介绍}\label{sec:rl}
|
||||
深度强化学习可以有效处理能够建模为MDP的序列决策问题，本节主要介绍强化学习和深度强化学习的基础理论和常见算法。
|
||||
% \subsection{启发式搜索概述}
|
||||
\subsection{强化学习}
|
||||
\subsubsection{概述}
|
||||
基于马尔可夫决策过程，强化学习通过与环境的不断交互获得最优的动作选择策略$\pi^*$。图\ref{fig:rl}给出了强化学习算法的典型结构框架，问题建模成为马尔可夫过程，在这其中设置一个智能体（agent），智能体观察环境中的状态信息并且接收奖励信息，然后基于状态选择特定的动作执行，而动作会改变环境更新状态并且得到奖励信息，智能体通过奖励调整策略$\pi$。
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.75\textwidth]{chap/figures/rl.png}
|
||||
\caption{强化学习的结构框架}
|
||||
\label{fig:rl}
|
||||
\end{figure}
|
||||
|
||||
策略的优劣评估取决于奖励的取值，动作的选择考虑奖励因素时不仅要考虑当前的即时奖励，也要考虑未来的奖励值，通过奖励折现因子$gamma$来平衡当前奖励和未来奖励的关系。奖励函数可以写为
|
||||
\begin{equation}
|
||||
R = \sum_{\tau=0}^{\infty} \gamma^{\tau} r_{t+\tau},\forall t
|
||||
\label{eq:reward}
|
||||
\end{equation}
|
||||
当折现因子取值为0时，强化学习就会只针对当前的即时奖励进行优化，折现因子越大，意味着未来潜在的收益对结果的影响越大。当折现因子取值为1时，所有时刻的奖励对结果的影响是相同的，但在此种情况下，经常会面临无法收敛的问题。多数强化学习算法通过调整$\gamma$取值范围在0到1之间来调整动作选择的策略。策略的最优化标准就是奖励的期望值，即
|
||||
|
||||
\begin{equation}
|
||||
V^\pi (s) = \mathrm{E}^\pi [R_t|s_t=s]
|
||||
\label{eq:V}
|
||||
\end{equation}
|
||||
其中$V^\pi (s) $表示的是状态$s$在策略$\pi$下的期望奖励，根据贝尔曼期望方程\parencite{russell2016artificial}，当前状态的值函数使用当前即时奖励与下一状态的值函数进行描述：
|
||||
\begin{equation}
|
||||
\begin{aligned}
|
||||
V^\pi(s) &= \mathrm{E}^\pi[r_t + \gamma \sum_{\tau=0}^{\infty }\gamma^\tau r_{t+\tau+1}|s_t = s] \\
|
||||
&= \sum_{a\in\mathcal{A}} \pi(a|s) \sum_{s'\in\mathcal{S}} T(s,a,s')[R(s,a) + \gamma V^\pi(s')]
|
||||
\end{aligned}
|
||||
\label{eq:rV}
|
||||
\end{equation}
|
||||
式\ref{eq:rV}递推地给出了价值评估函数的计算方法，为通过迭代的方法计算价值函数提供了理论基础。强化学习的目标就是得到最优的价值函数所对应的策略。
|
||||
|
||||
\begin{equation}
|
||||
\pi^* = \arg \max_{\pi} V^\pi(s), \forall s \in \mathcal{S}
|
||||
\label{eq:pistar}
|
||||
\end{equation}
|
||||
定义动作价值函数，又称为Q函数。
|
||||
\begin{equation}
|
||||
\begin{aligned}
|
||||
Q(s, a) &= \mathrm{E}^\pi [\sum_{\tau=0}^{\infty}\gamma^\tau r_{t+\tau}|s_t=s, a_t=a] \\
|
||||
&= \mathrm{E} ^\pi[r_t + \gamma Q(s_{t+1}, \pi (s_{t+1}))|s_t = s, a_t = a]
|
||||
\end{aligned}
|
||||
\label{eq:Qfunc}
|
||||
\end{equation}
|
||||
|
||||
$Q(s,a)$表示对于$(s,a)$在策略$\pi$下的期望奖励，动作价值函数更多的关注在某个状态下执行不同动作的价值，由此得到最优动作价值函数。
|
||||
\begin{equation}
|
||||
Q^*(s,a) = \max_{\pi} Q(s,a), \forall s \in \mathcal{S}, a \in \mathcal{A}
|
||||
\label{eq:Qstar}
|
||||
\end{equation}
|
||||
|
||||
在此基础上，最优动作价值函数的最大值对应的动作就是当前状态下的最优动作，即
|
||||
|
||||
\begin{equation}
|
||||
a^* = \arg \max_{a} Q^*(s,a), \forall s \in \mathcal{S}
|
||||
\label{eq:a_star}
|
||||
\end{equation}
|
||||
|
||||
从而得到
|
||||
\begin{equation}
|
||||
Q^*(s,a)= \sum_{s'}T(s'|s,a)[R(s, a, s') + \gamma \max_{a'}Q^*(s',a')]
|
||||
\label{eq:Q_star_iter}
|
||||
\end{equation}
|
||||
|
||||
式\ref{eq:Q_star_iter}表明最优动作价值函数也可以通过迭代的方式得到。
|
||||
基于价值函数、动作价值函数可以将强化学习分为基于值函数的强化学习、基于策略的强化学习以及基于策略-评论者（Actor-Critic，AC）的强化学习。
|
||||
\subsubsection{强化学习方法分类}
|
||||
|
||||
\textbf{（1）基于值的强化学习方法}
|
||||
|
||||
基于值的强化学习方法主要关注于价值函数的计算，通过迭代的方式计算价值函数，然后根据式\ref{eq:a_star}价值函数选择最优的动作。通过不断与环境进行交互获取大量的样本${s,a,r,s'}$，再根据式\ref{eq:Q_star_iter}的方法不断迭代得到最优的Q值。常见的基于值的强化学习方法有值迭代（Value Iteration）、Q学习（Q-Learning）、双重Q学习（Double Q-Learning）等。
|
||||
|
||||
\textbf{（2）基于策略的强化学习方法}
|
||||
|
||||
基于策略的RL方法相比基于值的方法，其基本思想是直接通过学习优化策略函数。策略梯度算法是这一类算法的代表。使用$\pi(s,a;\theta)$代表一个策略函数，其中$\theta$为网络参数权重，策略梯度通过梯度上升法更新$\theta$从而优化策略。具体而言，智能体在图\ref{fig:rl}的框架中不断与环境交互获得周期序列$s_1,a_1,r_1,s_2,a_2,r_2,\cdots,s_t,a_t,r_t$，这样的周期被称为迹（$\lambda$），迹发生的概率可以表示为
|
||||
\begin{equation}
|
||||
\begin{aligned}
|
||||
P_{\theta}(\lambda) &= P(s_1)\pi(s_1,a_1;\theta)P(s_2|s_1,a_1)\pi(s_2,a_2;\theta)\cdots P(s_t|s_{t-1},a_{t-1})\pi(s_t,a_t;\theta) \\
|
||||
&= P(s_1)\prod_{t=1}^{T}\pi(s_t,a_t;\theta)P(s_{t+1}|s_t,a_t)
|
||||
\end{aligned}
|
||||
\label{eq:trace}
|
||||
\end{equation}
|
||||
|
||||
在此基础上定义目标函数：
|
||||
\begin{equation}
|
||||
\max_{\theta}J(\theta) = \mathrm{E}_{\lambda \sim P_{\theta}(\lambda)}[R(\lambda)]
|
||||
\label{eq:J}
|
||||
\end{equation}
|
||||
此函数的目的是最大化迹奖励的期望，即增大高奖励迹出现的概率。每次迭代训练，智能体会基于现有策略与换看交互形成$N$个迹，通过以下公式对$J$取梯度并进行无偏估计：
|
||||
\begin{equation}
|
||||
\begin{aligned}
|
||||
\nabla_{\theta}J(\theta) &= \mathrm{E}_{\lambda \sim P_{\theta}(\lambda)}[\nabla_{\theta}\log P_{\theta}(\lambda)R(\lambda)] \\
|
||||
&= \frac{1}{N}\sum_{i=1}^{N}\sum_{t=1}^{T}\nabla_{\theta}\log \pi(s_t^i,a_t^i;\theta)R(\lambda^i)
|
||||
\end{aligned}
|
||||
\label{eq:J_theta}
|
||||
\end{equation}
|
||||
智能体通过以下公式更新策略参数：
|
||||
\begin{equation}
|
||||
\theta \leftarrow \theta + \alpha \nabla_{\theta}J(\theta)
|
||||
\label{eq:theta_iter}
|
||||
\end{equation}
|
||||
其中$\alpha$为学习率。与基于值的DL方法类似，在迭代到一定次数后，策略会收敛到最优。
|
||||
|
||||
\textbf{（3）基于AC的强化学习方法}
|
||||
|
||||
基于Actor-Critic（AC，行动者-评论者）的强化学习方法是基于值和基于策略的RL方法的结合形式。在现实策略中，根据式\ref{eq:a_star}选择最优动作的基于值的RL方法无法实现连续空间的动作。例如Q学习方法通过Q表存储动作价值函数，在面对连续动作时需要离散量化，进行决策时需要遍历所有的动作空间得到最优解，当连续动作的离散化维度高时，算法的复杂度极高、难以收敛。而另一方面，基于策略的强化学习算法每次交互需要获取到的足够长度的迹才能实现更新，收敛速度慢。AC方法通过将策略函数和价值函数结合，通过价值函数评估策略函数的优劣，通过策略函数优化价值函数的评估，实现了连续动作空间的优化。AC方法的基本思想是通过一个行动者（Actor）和一个评论者（Critic）来实现。行动者负责选择动作，评论者负责评估行动者的动作。行动者根据评论者的评估调整策略，评论者根据行动者的策略评估价值函数。图\ref{fig:ACRL}反映了这种框架的结构，Critic使用基于值的方法评估动作优劣，Actor使用基于策略的方法选择动作。此外，RL分配还包括有模型RL和无模型RL、在线RL和离线RL、同策略RL和异策略RL等，此处不再赘述。
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.4\textwidth]{chap/figures/AC.png}
|
||||
\caption{基于AC的RL框架}
|
||||
\label{fig:ACRL}
|
||||
\end{figure}
|
||||
|
||||
|
||||
|
||||
|
||||
\subsection{深度强化学习}
|
||||
DRL算法作为机器学习的一种，结合了RL的序列决策能力和DL的数据处理能力。
|
||||
|
||||
% 深度学习（Deep Learing，DL）是使用深度神经网络（Deep Neural Network，DNN）作为模型提取特征、对复杂函数进行的非线性拟合的一种方法。DNN包括输入层、隐藏层输出层，每一层包括多个神经元，每个神经元通过激活函数对输入信号进行处理。DNN通过反向传播算法（Back Propagation，BP）不断调整权重，使得模型的输出与真实值之间的误差最小化。DNN的优势在于可以处理大量的数据，提取数据的高阶特征，对复杂的非线性函数进行拟合。DNN的缺点在于需要大量的数据进行训练，容易过拟合，训练时间长，模型的解释性差。
|
||||
% % vim:ts=4:sw=4
|
||||
|
||||
深度学习（DL）是一种通过使用深度神经网络（DNN）来提取特征和进行复杂函数的非线性拟合的技术。DNN 架构包括输入层、多个隐藏层以及输出层，每层由多个神经元组成，这些神经元利用激活函数处理输入信号。通过反向传播算法（BP），DNN 不断调整神经元间的连接权重，以最小化模型输出与实际值之间的误差。DNN 的主要优势是其能够处理大规模数据集，提取高阶特征，并对复杂的非线性关系进行有效拟合。然而，DNN 也存在一些局限，如需要大量数据支持训练，容易发生过拟合，训练过程耗时，且模型的可解释性较差。图\ref{fig:DNN}描述了深度神经网络的基本结构。在隐藏层中，最基本的是全连接层，其结构就是每层的所有神经元都与下一层全部的神经元相连接。第$i$层的第$j$个神经元的输出为：
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.85\textwidth]{chap/figures/DNN.png}
|
||||
\caption{深度神经网络结构}
|
||||
\label{fig:DNN}
|
||||
\end{figure}
|
||||
\begin{equation}
|
||||
y_{i,j} = \sigma(\sum_{k=1}^{n_{i-1}}w_{i,j,k}y_{i-1,k} + b_{i,j})
|
||||
\label{eq:yhat}
|
||||
\end{equation}
|
||||
|
||||
为了实现非线性拟合，DNN 通常使用激活函数对输入信号进行处理，式\ref{eq:yhat}中的$\sigma$就代表激活函数，$w$代表神经元的连接权重值。常见的激活函数包括 Sigmoid、Tanh、ReLU 等。其中，Sigmoid 函数将输入信号映射到 $(0,1)$ 区间，Tanh 函数将输入信号映射到 $(-1,1)$ 区间，ReLU 函数则将负输入信号映射为 0。
|
||||
\begin{align}
|
||||
\text{Sigmoid}(x) &= \frac{1}{1+e^{-x}} \\
|
||||
\text{Tanh}(x) &= \frac{e^x - e^{-x}}{e^x + e^{-x}} \\
|
||||
\text{ReLU}(x) &= \max(0,x)
|
||||
\end{align}
|
||||
|
||||
常见的DNN有卷积神经网络（CNN）、循环神经网络（RNN）、对抗神经网络（GAN）等。本文中所提出的算法主要使用了CNN网络，CNN网络是专门用于处理具有网格矩阵结构的数据，广泛应用于计算机视觉领域。CNN网络主要包含卷积层、池化层、全连接层（图\ref{fig:cnn}）。卷积层的主要作用是对输入数据进行卷积运算用于提出特征（图\ref{fig:conv}），池化层承接卷积层的输出，通过数据降维的方式避免过拟合。
|
||||
% 卷积层通过卷积核对输入数据进行特征提取，池化层通过降采样的方式减少数据维度，全连接层通过神经元之间的连接实现数据的分类。CNN网络的主要优势在于其能够有效提取数据的空间特征，对图像数据的处理效果显著。
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.85\textwidth]{chap/figures/cnn.png}
|
||||
\caption{CNN网络结构}
|
||||
\label{fig:cnn}
|
||||
\end{figure}
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.85\textwidth]{chap/figures/conv.png}
|
||||
\caption{卷积计算}
|
||||
\label{fig:conv}
|
||||
\end{figure}
|
||||
|
||||
|
||||
深度强化学习就是通过DL来表征强化学习中的动作价值函数和策略函数，通过神经网络拟合的方式使得RL算法能够摆脱低维状态空间的限制。2013年，DeepMind公司的研究人员首次基于DNN的方法改进了RL中的Q学习算法，得到深度Q网络学习算法（DQN）\parencite{mnih2013playing}，引发了Deep RL的研究热潮。常见的DRL算法如表\ref{tab:drl}所示。
|
||||
|
||||
\begin{table}[hbpt]
|
||||
\centering
|
||||
\caption{常见的深度强化学习算法}
|
||||
\label{tab:drl}
|
||||
\begin{tabular}{cc}
|
||||
\toprule
|
||||
|
||||
算法名称 & 算法目的 \\
|
||||
\midrule
|
||||
DQN & 解决Q学习中的高维状态空间问题 \\
|
||||
DPG & 简化策略梯度算法 \\
|
||||
DDPG & DQN与DPG结合 \\
|
||||
Nature DQN & 提高DQN的训练速度 \\
|
||||
Double DQN & 提高DQN的稳定性 \\
|
||||
Dueling DQN & 提高DQN的性能 \\
|
||||
A3C & 强化学习并行化 \\
|
||||
PPO & 解决策略梯度利用率低 \\
|
||||
TD3 & 解决DDPG中的过估计问题 \\
|
||||
SAC & 避免陷入局部最优 \\
|
||||
\bottomrule
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
|
||||
\section{本章小结}
|
||||
|
||||
本章首先叙述了多波束卫星基本结构，然后介绍了多波束卫星的空间传输特性。然后介绍了序列决策问题和MDP的基本概念，最后介绍了强化学习和深度强化学习的基本理论和常见算法。本章的内容为后续章节的研究提供了理论基础。
|
||||
+479
-2
@@ -1,7 +1,484 @@
|
||||
% Copyright (c) 2014,2016,2018 Casper Ti. Vector
|
||||
% Public domain.
|
||||
|
||||
\chapter{结论和展望}
|
||||
\pkuthssffaq % 中文测试文字。
|
||||
\chapter{基于深度强化学习的卫星资源管理研究}
|
||||
|
||||
\section{引言}
|
||||
为了应对下一代卫星移动通信系统高吞吐量的数据需求，卫星广泛采用了多波束卫星的架构，每个卫星携带多个波束，分别覆盖地面特定的区域，波束共同组成了单卫星的区域覆盖。由于卫星通信的用户和终端在地理空间和使用时间上分布不均匀，卫星不同波束间的通信数据量存在较大的差异，如果采用固定的频谱分配方式，即使波束内不存在用户使用资源，也会造成资源的浪费。而采用动态资源分配的方式，即所有的信道资源都可以被各个波束的用户所使用，相比固定的频谱分配方式能够拥有较高的资源利用率。关于研究如何合理地将星上资源在波束之间分配的研究越来越多，这些研究主要是针对带宽或者功率作为优化目标，本章将首先针对现有的单一资源优化分配算法的性能进行研究，根据其不足提出基于强化学习的多波束卫星资源的分配算法。
|
||||
% 但是在多波束卫星系统中，从不同的波束发送的信道在卫星转发器相遇，这样导致使用相同频率资源的信号在中心距离小于同频复用距离时存在同频干扰
|
||||
|
||||
% 但多波束卫星系统中，不同波束使用相同信道进行转发时，会产生同频干扰，使用相同频率工作的波束会相互干扰，引起通信速率和通信质量的下降。
|
||||
\section{系统与问题建模}
|
||||
|
||||
\subsection{场景描述}
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.85\textwidth]{chap/figures/multi-satellite.pdf}
|
||||
\caption{多波束卫星系统图}
|
||||
\label{fig:multi-satellite}
|
||||
\end{figure}
|
||||
|
||||
多波束卫星系统由多波束卫星和不同波束下的地面用户终端组成。多波束卫星拥有$M$个波束，服务于$M$个小区。
|
||||
% 图\ref{fig:multi-satellite}描述了常见的多波束卫星的整体系统结构，多波束卫星主要包括的以下几部分：
|
||||
% \begin{enumerate}
|
||||
% \item 地面中心站：主要包含前向链路网关处理部分
|
||||
% \item 前向链路：该链路将以频率复用的方式将网关的数据包传输给卫星
|
||||
% \item 多波束卫星：该单元为一个卫星，从前向链路网关接受数据包，转发到地球上的另一个用户终端。
|
||||
% \item 下行链路：卫星与用户终端的传输链路。
|
||||
% \item 覆盖区域：卫星服务的地面区域。
|
||||
% \end{enumerate}
|
||||
|
||||
|
||||
如图\ref{fig:beam_users}所示，考虑一个给定的卫星场景。其中存在数量为$K$的用户终端分散在各小区中，图中的点、“x”等标记代表不同的地面用户。在$t$时刻，用户通过根据地理位置通过最大化SINR的方式与波束对应并申请接入卫星通话系统。各个波束之间的业务量之间存在一定的差异，因而每个波束的业务需求和信道容量也有所差别，使用$C_i(i=1,2,\dots,N)$表示。
|
||||
同时，用户根据地理位置的不同，会被不同的点波束所服务，波束与用户之间的关系可以使用以下矩阵描述：
|
||||
$$\mathbf{X} = \{x_{k,n}|x_{k,n}\in\{0,1\}, \sum_{n=1}^{N}x_{k,n}=1,\forall k,n \} .$$
|
||||
|
||||
考虑LEO卫星系统中，由于卫星轨道相对较低，卫星移动速度较快，例如卫星在\SI{780}{km}的轨道高度时运行速度为\SI{7.46}{km\per s}，因此这种场景下可以忽略地面用户的移动性，只需要考虑卫星的移动性。卫星相对于地面区域向特定方向的运动可以视为，用户朝着相反方向进行移动。
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.65\textwidth]{chap/figures/beams_users.png}
|
||||
\caption{小区与用户示意图}
|
||||
\label{fig:beam_users}
|
||||
\end{figure}
|
||||
\subsection{问题建模}\label{sec:problem}
|
||||
卫星系统中卫星的总功率和总的带宽可以分别使用$P_{tot}$和$B$表示，而每个波束的最大功率和每个波束的带宽可以表示为$P_b$与$B_b$。由于星上带宽资源具有稀缺性，卫星分配个各个波束的带宽通常小于或等于其业务需求量，即
|
||||
$$C_i \le T_i^t, \forall t$$
|
||||
|
||||
多波束卫星通信的一大特点就是可以使用频率复用技术，能够使得卫星在使用相同信道的同时与多个波束服务的小区内的用户进行通信。频率复用技术的优势能够提高频率资源的利用率，提高系统的通信容量。但是同频复用导致波束的天线旁瓣增益对其他使用同频信道的波束造成一定的干扰，而这种干扰能够会影响系统的容量。假设系统拥有$M$个可以复用的信道，每个可复用信道的带宽为$B_c = \frac{B}{M}$，即每个点波束可以在所有可用的信道集合中分配未使用的信道，每个用户单个时隙只能占有一个信道。假设星上资源中，每个信道$m$给用户分配的功率为$w_{m,k}$，那么可以用以下矩阵作为信道分配的描述：
|
||||
$$
|
||||
\mathbf{W} = [\mathbf{w_1, w_2,\dots,w_K}] =
|
||||
\begin{bmatrix}
|
||||
w_{1,1} & w_{1,2} & \dots & w_{1,K} \\
|
||||
w_{2,1} & w_{2,2} & \dots & w_{2,K} \\
|
||||
\vdots & \vdots & \dots & \vdots \\
|
||||
w_{M,1} & w_{M,2} & \dots & w_{M,K} \\
|
||||
\end{bmatrix}
|
||||
, \mathbf{W} \in \mathbb{R}^{M\times K}.
|
||||
$$
|
||||
|
||||
基于用户与点波束的对应关系，可以有：
|
||||
\begin{equation}
|
||||
\mathbf{F} = \mathbf{W} \cdot \mathbf{X}
|
||||
\end{equation}
|
||||
|
||||
由于存在波束间的干扰干扰关系，如果定义$h_{i,j}$为用户$j$对用户$i$的干扰关系，可以构建用户之间的增益矩阵为$\mathbf{H}$
|
||||
|
||||
\begin{equation}
|
||||
\mathbf{H} = \begin{bmatrix}
|
||||
h_{1,1} & h_{1,2} & \dots & h_{1,K} \\
|
||||
h_{2,1} & h_{2,2} & \dots & h_{2,K} \\
|
||||
\vdots & \vdots & \dots & \vdots \\
|
||||
h_{K,1} & h_{K,2} & \dots & h_{K,K} \\
|
||||
\end{bmatrix}
|
||||
\end{equation}
|
||||
其中，$h_{i,i},i\in{1,2,\dots,K}$为用户所在波束对自身的增益，根据公式\ref{eq:P_R}，地面用户接收到的信号的增益为
|
||||
\begin{equation}
|
||||
h_{u_i,u_j} = g_{t}^{m,u_i} \cdot PL \cdot g_r
|
||||
\label{eq:hnk}
|
||||
\end{equation}
|
||||
该式中，$g_{t}^{m,u_i}$为用户$u_j$对应的点波束$m$对用户$u_i$的发射增益，即满足$x_{u_j,m}= 1$。
|
||||
|
||||
定义$\mathbf{A} = diag\{PL_1,PL_2,\dots,PL_K\}$为空间损耗矩阵，$\mathbf{G_r}=\mathrm{diag}\{g_{r,1},g_{r,2},\cdots g_{r,k}\}$为用户接收增益，$\mathbf{G_t}=\{g_{k,n}|1\le k\le K, 1\le n\le N\}$为波束到用户的发射增益，可以自然地得到用户之间的干扰矩阵为
|
||||
\begin{equation}
|
||||
\mathbf{H} = \mathbf{A} \cdot \mathbf{G_r} \cdot \mathbf{G_t} \cdot \mathbf{X}^T
|
||||
\end{equation}
|
||||
那么用户接收到的信号功率可以表示为
|
||||
\begin{equation}
|
||||
P_k = h_{k,k} \cdot w_{m,k}, \forall m,k, x_{m,k} = 1
|
||||
\end{equation}
|
||||
干扰可以表示为：
|
||||
\begin{equation}
|
||||
P_{cci} = \sum_{i\ne k} h_{k,i} \cdot w_{m,i}, \forall m,i, x_{m,i} = 1
|
||||
\end{equation}
|
||||
|
||||
那么能够方便的得到用户的信干噪比公式（SINR）为
|
||||
|
||||
\begin{equation}
|
||||
SINR_i = \frac{P_k}{B_c N_0 +\sum_{i\ne k} h_{k,i} \cdot w_{m,i} }
|
||||
\label{eq:SINR}
|
||||
\end{equation}
|
||||
|
||||
根据香农公式，用户$k$的信道容量可以表示为：
|
||||
\begin{align}
|
||||
C_i = B_c \log_2{(1+\frac{P_k}{B_c N_0 +\sum_{i\ne k} h_{k,i} \cdot w_{m,i} })}
|
||||
\label{eq:ci}
|
||||
\end{align}
|
||||
|
||||
公式\ref{eq:ci}给出了用户在所建模的低轨卫星通信系统上在系统资源分配策略下可以达到的速率。为了保障用户的服务质量，该速度需要满足达到特定的最低值，否则通信或者数据传输服务就会因为服务质量过程被阻塞或者失去响应，将速度最低值记为$C_t$。
|
||||
|
||||
在以上的基础上，卫星的资源分配问题可以描述为在给定的资源约束下，最大化系统的频谱效率，同时也是最大化信道的利用率和最小化系统的服务的阻塞概率，这一问题属于序列决策问题，这一问题在\ref{sec:decision}中已经有了比较细致的阐释。具体到该问题就是需要对离散时域上的业务到达请求进行信道的合理分配，以达到最大化系统的频谱效率的目标。而对决策起到主要影响的就是由于用户地理位置和频率复用产生的共频干扰。当$t$时刻，用户$u_i$申请接入卫星通信系统，由$\mathbf{X}$矩阵可知，需要在波束$b'=\arg \max \mathbf{x_i}$中寻找合适的信道$c$，为用户提供服务，如果存在能够满足限制条件的信道，那么用户就能得到服务，否则用户就会被阻塞。是否阻塞反应了用户的QoS质量，定义阻塞函数：
|
||||
\begin{equation}
|
||||
\Psi^t = \begin{cases}
|
||||
1, & \text{用户被阻塞} \\
|
||||
0, & \text{用户得到服务}
|
||||
\end{cases}
|
||||
\label{eq:B_r}
|
||||
\end{equation}
|
||||
|
||||
此时系统服务的用户集合为$\mathcal{U_t}$，根据公式\ref{eq:ci}，此时系统的总容量为$\sum_{\forall u \in \mathcal{U_t}} C_u$。可以计算系统的频谱效率$SE_t$：
|
||||
\begin{equation}
|
||||
SE_t = \frac{\sum_{\forall u \in \mathcal{U_t}} C_u}{B}
|
||||
\label{eq:SE}
|
||||
\end{equation}
|
||||
|
||||
假设此时系统中每个波束的发射功率为$P_t^b$，此时系统的能量效率为
|
||||
\begin{equation}
|
||||
EE_t = \frac{\sum_{\forall u \in \mathcal{U_t}} C_u}{\sum_{b=0}^{N}P_t^b}
|
||||
\label{eq:EE}
|
||||
\end{equation}
|
||||
|
||||
信道分配的目的是最小化用户通信的阻塞率、最大化系统的频谱效率，需要满足系统的限制。因此可以将信道分配问题建模为以下问题：
|
||||
|
||||
\begin{align}
|
||||
opt. \mathcal{P_1} = \min \sum_{t=1}^{T} \Psi^t \\
|
||||
\mathcal{P_2} = \max \sum_{t=1}^{T} SE_t \\
|
||||
s.t. \sum_{i,j} f_{ij} \le P_{tot}, \forall t \label{eq:pt}\\
|
||||
\sum_{j=0}^{N} f_{i,j} \le P_t^b \forall i, t \label{eq:pbb}\\
|
||||
C_i \ge C_t, \forall i \in \mathcal{U_t} \label{eq:Cth}
|
||||
\end{align}
|
||||
|
||||
为了简化问题的复杂度，在本章的卫星通信场景中假设了每个信道采用相同的功率进行发射，即$f_{i,j} \in {P_{Channel}, 0} $，同时本章场景主要是卫星语音通话经常，因此可以将用户的业务需求量视为固定值，每次用户的通信只占用一个信道。式\ref{eq:pt}表示信道的分配满足发射的总功率不超过系统的总的发射功率。式\ref{eq:pbb}表示每个波束的发射功率不超过波束的最大的发射功率，卫星单个波束的最大发射功率限制和其波束形成的方式有关。式\ref{eq:Cth}表示用户的通信速率不低于最低的通信速率，同时新用户的接入不能影响原有正在使用系统的用户的正常通信条件。由此便将卫星信道的动态分配问题转化为了一个序列决策问题从而能够使用深度强化学习的方法。
|
||||
|
||||
\section{基于强化学习的卫星信道分配算法的问题建模}
|
||||
% vim:ts=4:sw=4
|
||||
本节主要探讨的是如何将\ref{sec:problem}提出的序列决策问题转化为\ref{sec:decision}中描述的马尔可夫决策过程的形式，即给出状态、动作等问题的抽象，同时给出了本章提出的基于强化学习的卫星信道分配算法的整体框架、阐释所给出的算法的设计思想和主要过程并给出了算法的具体实现过程和部分细节。
|
||||
|
||||
\subsection{总体框架}
|
||||
|
||||
由于在本问题中，每个用户每个时刻最多只能占用一个信道，因此每次决策时只需要输出一维的动作信息即选择一个可用的信道。算法将卫星和用户端的业务建模为强化学习的环境，智能体所获得的收益值通过最优化的目标函数表征，通过基于值的强化学习方法深度Q网络的思想，一步步实现收益的优化。算法的总体框架图为\ref{fig:framework1}。
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.95\textwidth]{chap/figures/framework.png}
|
||||
\caption{算法框架图}
|
||||
\label{fig:framework1}
|
||||
\end{figure}
|
||||
|
||||
环境的信息经过预处理和状态重构后转化为张量的状态$s$输入到$Q$网络中，经过的$Q$网络的计算后，得到一组Q值，通过Q值产生对应的动作$a$，动作应用到环境中产生一定的激励与奖励值$r$。每经过一次运算，就能够产生一组经验值($\phi_i = {s_i, a_i, r_i, s_{i+1}}$)，这组经验条目被存储于经验池$D$中。当经验池中的数据到达了训练门限后，就会利用损失函数$L(\theta)$对Q网络进行训练，期中还存在一个Q网络的延迟副本Q'网络，Q'网络具有与Q网络相同的结构，每经过$G$步更新为Q网络。通过对Q网络的训练和学习，实现的最大的收益。
|
||||
\subsection{马尔可夫过程构建}
|
||||
强化学习的基础是马尔可夫决策过程，具体的构建过程如下：
|
||||
\subsubsection{状态空间}
|
||||
状态是对由卫星和用户构成的环境的形式化抽象，根据最优问题建模，进行决策所需要的信息有$t_i$时刻多波束卫星的波束分配矩阵$W_{t_i}$，当前时刻正在服务的用户的集合$\mathcal{U_{t_i}}$，$t_i$时刻请求通信资源的用户$u_{t_i}$。使用公式可以表示为：
|
||||
\begin{equation}
|
||||
s_{t_i} = \{W_{t_i}, \mathcal{U_{t_i}}, u_{t_i}\}
|
||||
\end{equation}
|
||||
\subsubsection{动作空间}
|
||||
动作是智能体对环境的操作与输出，根据Q网络的特点，动作空间是离散的，每个时刻的动作是选择一个可用的信道，即
|
||||
$\mathcal{A} = {1, 2, \cdot, M}$。
|
||||
Q网络会输出$M$个Q值，对应不同信道的$Q$值，根据最大化价值函数的原则，动作$a_{t_i}$表示为
|
||||
|
||||
\begin{equation}
|
||||
a_{t_i} = \arg \max_{a \in \mathcal{A}} Q(s_{t_i})
|
||||
\label{eq:att}
|
||||
\end{equation}
|
||||
|
||||
\subsubsection{奖励设计}
|
||||
|
||||
根据优化问题的设计，将优化目标增量$\Delta F$作为收益率的一句，任务目标由优化问题中的目标决定，本问题中的优化目标是最小化阻塞率和最大化频谱效率，因此优化目标可以公式表示为：
|
||||
\begin{equation}
|
||||
F_{i} = \alpha_1 SE_{t_i} - \alpha_2 \frac{\sum_{0}^{t_i} \Psi^{\tau}}{N_{arrival}}
|
||||
\label{eq:target}
|
||||
\end{equation}
|
||||
为了保障优化目标的公平性，$\alpha_1, \alpha_2$分别代表为两个归一化系数，减号代表是最小化阻塞率参数，那么优化目标的增量值可以表示为：
|
||||
\begin{equation}
|
||||
\Delta F = F_{t_i}-F_{t_{i-1}}
|
||||
\label{eq:DeltaF}
|
||||
\end{equation}
|
||||
收益计算公式为
|
||||
|
||||
\begin{equation}
|
||||
r_{t_i} = \begin{cases}
|
||||
r_g, & \Delta F > 0 \\
|
||||
r_l, & \Delta F \le 0
|
||||
\end{cases}
|
||||
\label{eq:rtii}
|
||||
\end{equation}
|
||||
其中，$r_g$为正值，代表系统在这种情况下选择该动作是比较好，$r_l$为负值，代表系统在这种情况下选择该动作是差的。
|
||||
\subsection{状态重构}\label{sec:stateChange}
|
||||
在完成了马尔可夫过程的抽象后，需在此基础上进行一定的数据预处理和状态重构操作。这主要是因为：
|
||||
\begin{enumerate}
|
||||
\item 神经网络的输入往往需要一定的结构化约束，只有将的数据转化为特定的张量形式才能够由神经网络学习发现其中的特征信息，例如在状态空间中，已经服务的用户包含了用户之间的空间位置信息，由于地理信息是空间连续的必须要将其进行离散化处理才能够输入到神经网络中。
|
||||
\item 对状态信息进行重构，可以减少状态空间的维度。进行预处理后可以有效降低空间复杂度信息，例如在考虑共频干扰时只需要考虑用户周边信道的干扰即可，而实际卫星可能拥有数百甚至数千的波束，不进行状态压缩将会带来巨大的时空复杂度。
|
||||
\end{enumerate}
|
||||
|
||||
基于以上两点原因，在本节中将对把状态$s_{t_i} = \{W_{t_i}, \mathcal{U_{t_i}}, u_{t_i}\}$重构为多维的图形张量，以便于神经网络的学习。具体的状态重构过程如下。
|
||||
|
||||
图\ref{fig:origin}描述了某个时刻业务的需求信息，这其中三角符号代表正在通信的用户，圆形代表新申请接入通信的用户，为了便于使用CNN等网络进行处理，首先将系统的状态分隔为$L\times H$的图片，每个像素点代表一个区域的情况。
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.75\textwidth]{chap/figures/origin.png}
|
||||
\caption{某个时刻的业务需求量}
|
||||
\label{fig:origin}
|
||||
\end{figure}
|
||||
通过构造$M+1$张图片，其中前$M$张代表正在进行通信的用户对$M$个信道的占用情况，第$m(m \in {1,2,\cdots,M})$张图片代表了$t_i$时刻已经服务用户集合$\mathcal{U_{t_i}}$ 对滴$m$信道的占用情况。第$M+1$张代表了新到来用户的情况。每个像素点占用1位的信息，这样就将信息重构为了一个$(M+1) \times L \times H$的图形张量，即拥有$M+1$个颜色通道的黑白图像。图\ref{fig:state_restruct}描述了图\ref{fig:origin}的一种可能的状态压缩情况。在这种状态压缩方案下，状态空间的计算复杂度通过系统$L$和$H$两个维度进行控制，状态可以表示为$s\in{0, 1}^{(M+1)\times L \times H}$。
|
||||
\begin{figure}
|
||||
\centering
|
||||
\includegraphics[width=0.95\textwidth]{chap/figures/statechange.png}
|
||||
\caption{状态重构示意图}
|
||||
\label{fig:state_restruct}
|
||||
|
||||
\end{figure}
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
由于本章聚焦于中低轨卫星的情况，需要考虑卫星的移动性问题，如图\ref{fig:leonet}所示，地面用户不能总在任何时候都与卫星通信，通信的时长收到地轨卫星的覆盖时间限制。图\ref{fig:leonet}所描述的系统多种，卫星正下方的紫色圈层即为卫星的覆盖范围，其覆盖范围会随着卫星的移动而进行移动。使用时间$T$表示地面用户与单颗卫星的最长通信时间，那么可以得到
|
||||
\begin{equation}
|
||||
T = \frac{L}{v_{sat}}
|
||||
\label{eq:maxt}
|
||||
\end{equation}
|
||||
|
||||
$v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是单科卫星的覆盖范围信息。而通过以上的状态重构后，卫星的移动便转化为图片各个像素点朝着某个方向平移的问题。图\ref{fig:move}展示了这种情况下的变化。
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.75\textwidth]{chap/figures/multileo.png}
|
||||
\caption{多波束地轨卫星通信系统场景}
|
||||
\label{fig:leonet}
|
||||
\end{figure}
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.85\textwidth]{chap/figures/move.png}
|
||||
\caption{卫星移动导致状态的变化}
|
||||
\label{fig:move}
|
||||
\end{figure}
|
||||
|
||||
|
||||
\subsection{Q网络的架构与计算}
|
||||
如\ref{sec:rl}介绍，RL只在找到最佳的动作选择策略，这一策略可以基于当前的状态做出最佳的动作决策。Q学习是通过定义Q函数的方法来估计价值函数，聚焦于在状态$s$下找到执行动作$a$的累计奖励，通过迭代的方式求解。由于时序决策序列存在较强的相关性，采用了经验回放技术和目标网络的方式来提升网络的收敛性，每次训练过程中都从经验池中提取一定数量的经验数据，通过\ref{eq:Ltheta}计算目标网络与当前网络的误差，通过随机梯度下降（Stochastic Gradient Descent, SGD）的方式来更新网络参数。
|
||||
\begin{equation}
|
||||
L(\theta) = \mathrm{E} [(r_{t} + \gamma \max_{a'} Q'(s_{t+1}, a'; \theta ') - Q(s_t, a_t; \theta))^2]
|
||||
\label{eq:Ltheta}
|
||||
\end{equation}
|
||||
式\ref{eq:Q_star_iter}表明Q函数可以通过迭代的方式获得最优解，结合\ref{eq:Ltheta}Q网络的迭代可以表示为
|
||||
\begin{equation}
|
||||
\hat{Q}_{t+1} \leftarrow r_{t} \max Q(s_t, a; \theta) + \alpha L(\theta)
|
||||
\label{eq:Q_t_1}
|
||||
\end{equation}
|
||||
由式\ref{eq:Q_t_1}可以得到，SGD的本质就是最小化误差函数，即$\min L(\theta)$
|
||||
|
||||
本章提出的算法使用了卷积神经网络（convolutional neural network， CNN）作为Q网络的架构，具体而言主要包含了四层的网络结构。第一层是卷积层，包含16个$5\times 5$卷积核，依据\ref{sec:stateChange}中状态重构的描述，其输入为$M+1$张$L\times H$张量。第二层是32个$3\times 3$个卷积核。经过重新排列与重构输入到第三层和第四层的全连接层中，最后输出为$M$个Q值。其具体参数如表\ref{tab:Q}所示，其中$L = H = 10$。
|
||||
|
||||
\begin{table}[hbpt]
|
||||
\centering
|
||||
\caption{Q网络的参数}
|
||||
\label{tab:Q}
|
||||
\begin{tabular}{ccccc}
|
||||
\toprule
|
||||
层 & 输入 & 卷积核 & 激活函数 & 输出 \\
|
||||
\midrule
|
||||
卷积层1 & $(M+1) \times L \times H$ & $5\times 5, 16$ & Relu & $16\times 6 \times 6$ \\
|
||||
卷积层2 & $16\times 6 \times 6$ & $3\times 3, 32$ & Relu & $32\times 4\times4 $ \\
|
||||
全连接层1 & 512 & - & Relu & 512\\
|
||||
全连接层1 & 512 & - & Relu & $M$\\
|
||||
|
||||
\bottomrule
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
|
||||
\subsection{算法流程}
|
||||
算法一共分为以下几个主要过程：
|
||||
\begin{enumerate}
|
||||
\item 参数初始化，初始化仿真场景和算法的参数。
|
||||
\item 训练更新：将经验$\phi = {s, a, r, s}$存储到经验池。当经验池数据量达到训练门限时，随机选取一组数据批量训练，通过SGD的方式更新Q网络的参数，更新Q'网络的参数。
|
||||
\end{enumerate}
|
||||
具体的步骤如下：
|
||||
\begin{breakablealgorithm}
|
||||
\caption{基于DQN的低轨卫星信道分配算法}
|
||||
\label{algo:1}
|
||||
\begin{algorithmic}[1]
|
||||
\renewcommand{\algorithmicrequire}{\textbf{参数初始化}}
|
||||
\REQUIRE
|
||||
\STATE 初始化低轨多波束卫星场景与用户信息
|
||||
\STATE 初始化业务到达参数
|
||||
\STATE Q网络参数$\theta$初始化，目标Q网络参数$\theta '$初始化，初始化经验回放池$D = \emptyset, N = N_e$
|
||||
\STATE 初始化卫星信道分配表$\mathbf{W}$、业务队列信息
|
||||
\renewcommand{\algorithmicrequire}{\textbf{训练与优化过程}}
|
||||
\REQUIRE
|
||||
\FOR{episode $i \leftarrow 1,2,\dots, S$}
|
||||
\STATE 初始化状态$s_0$，并进行状态的重构
|
||||
\FOR{timestep $t \leftarrow 1,2,\dots, T$}
|
||||
\STATE 用户$u_t$申请到达，更新业务队列，更新探索概率$\epsilon = \max (\epsilon\cdot\lambda, \epsilon_f)$
|
||||
\STATE 观察环境，构建状态$s_t$
|
||||
\STATE 计算可用的动作空间 $\mathcal{A}({s_t})$
|
||||
\IF{$\mathcal{A}(s_t) = \emptyset$}
|
||||
\STATE 直接拒绝用户$u_t$的业务申请
|
||||
\STATE 计算收益值
|
||||
\ELSE
|
||||
\STATE 利用$\epsilon - greedy$选择一个概率$p$
|
||||
\IF{$p \le \epsilon$}
|
||||
\STATE 随机选择动作$a_t \in \mathcal{A}(s_t)$
|
||||
\ELSE
|
||||
\STATE 选择$a_t = \arg \max Q(s_t, a; \theta)$
|
||||
\ENDIF
|
||||
\STATE 执行$a_t$，更新环境的状态，得到奖励$r_t$，观察下一个状态$s_{t+1}$
|
||||
\STATE 处理$s_{t+1}$，将$\langle s_t, a_t, r_t, s_{t+1}\rangle$添加到经验回访池$D$中
|
||||
\ENDIF
|
||||
\IF{经验存储池$D$中的数据量大于经验回放门限}
|
||||
\STATE 从$D$中随机抽取一组经验数据进行训练
|
||||
\STATE 计算目标网络的预测值
|
||||
\STATE 根据\ref{eq:Ltheta}计算损失函数$L(\theta)$，通过神经网络的反向传播进行训练
|
||||
\ENDIF
|
||||
\IF{$t \mod G = 0$}
|
||||
\STATE 更新目标网络$\theta' \leftarrow \theta$
|
||||
\ENDIF
|
||||
\ENDFOR
|
||||
\STATE 1
|
||||
\ENDFOR
|
||||
\STATE 输出参数$\theta$
|
||||
\renewcommand{\algorithmicrequire}{\textbf{算法结束}}
|
||||
\REQUIRE
|
||||
\end{algorithmic}
|
||||
\end{breakablealgorithm}
|
||||
|
||||
在算法的流程中使用到了$\epsilon - greedy$策略，即使用$\epsilon \in [0,1]$的概率随机地进行动作选择，否则选择具有最大Q只动的动作。这种方法的主要目的是在探索（exploration）和利用（exploitation）之间达到平衡，利用的含义是在当前的信息下选择已知的最优动作在当前例子中就是最大化Q值所对应的动作，这样主要的目的是利用历史知识进行学习，而探索则是随机选择一个动作，抛弃所有的已获得的信息。这种策略有助于寻找到全局最优解，避免过早地陷入到对局部最优解中。在本算法中使用衰减率$\lambda$来控制探索概率的衰减速度，$\epsilon_f$是探索概率的最小值。
|
||||
|
||||
\section{仿真结果分析}
|
||||
本节首先搭建了评估本章提出算法的仿真环境，主要是卫星的场景描述以及相关业务的参数，以及DRL算法所使用的参数。为了验证算法的有效性和性能，选取了多个不同的参数但作为仿真的场景并与固定信道分配等算法进行了对比，结果表明本文提出的算法能够实现较高的频谱效率和较低的阻塞率。
|
||||
\subsection{实验参数设计}
|
||||
仿真中使用的是低轨的单颗L波段卫星系统，主要的参数如表\ref{tab:para}所示。其中，业务的到达模型服从参数为$\lambda$的泊松分布，单位为次每分钟。同时业务的持续时间服从参数为$\mu$的负指数分布，单位分钟。业务速率的最低门限视为是\SI{500}{kbps}。系统中初始存在的用户数为400，分散在各个波束内。
|
||||
|
||||
\begin{table}
|
||||
\centering
|
||||
\caption{卫星场景仿真参数}
|
||||
\label{tab:para}
|
||||
\begin{tabular}{cc}
|
||||
\toprule
|
||||
参数 & 值 \\
|
||||
\midrule
|
||||
卫星轨道高度 & \SI{1000}{km} \\
|
||||
卫星波束数 & 37 \\
|
||||
用户数 & 400 \\
|
||||
下行链路中心频率 & \SI{1500}{MHz} \\
|
||||
信道数 & 16 \\
|
||||
信道最大功率 & \SI{0.35}{dBW} \\
|
||||
卫星总功率 & \SI{23}{dBW} \\
|
||||
波束最大功率 & \SI{20}{dBW} \\
|
||||
信道带宽 & \SI{312.5}{kHz} \\
|
||||
信道到达率 & [10, 100] \\
|
||||
业务持续时间 & [1, 9] \\
|
||||
卫星发射增益 & \SI{41.6}{dBi} \\
|
||||
卫星终端接收增益 & \SI{20}{dBi} \\
|
||||
噪声功率谱密度 & \SI{-174}{dBm\per Hz} \\
|
||||
% 信道持续时间 & 0.1 \\
|
||||
多波束天线半波束角 & \SI{0.5}{\degree} \\
|
||||
业务速率最低门限 & \SI{500}{kbps} \\
|
||||
\bottomrule
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
|
||||
本算法采用了深度强化学习的方法来解决多波束低轨卫星中信道的分配问题，因此需要说明卫星通信的算法参数。对于深度强化学习而言需要有一个经验回放池子，在这里设置经验回访池的容量为20000条经验数据，当经验池中存放了2000条经验后，从中每次抽取64条经验进行Q网络的训练。学习率是影响算法收敛速度的重要指标，本算法中使用的参数为0.0001。为了平衡探索和利用的关系，设置了探索概率的初始值为0.9，每次训练后以0.9的速率进行衰减，最小值为0.01。目标网络的更新频率为100步，即每100步更新一次目标网络的参数。具体的参数列表如表\ref{tab:para_1}所示。
|
||||
\begin{table}[hbpt]
|
||||
\centering
|
||||
\caption{深度强化学习算法参数}
|
||||
\label{tab:para_1}
|
||||
\begin{tabular}{cc}
|
||||
\toprule
|
||||
参数 & 值 \\
|
||||
\midrule
|
||||
经验回放池容量 & 20000 \\
|
||||
经验回放门限 & 2000 \\
|
||||
每次训练经验数 & 64 \\
|
||||
学习率 & 0.0001 \\
|
||||
初始探索概率 & 1.0 \\
|
||||
探索概率衰减率 & 0.9 \\
|
||||
探索概率最小值 & 0.01 \\
|
||||
目标网络更新步长 & 100 \\
|
||||
激活函数 & Relu \\
|
||||
正向收益 & 0.05 \\
|
||||
负向收益 & -0.3 \\
|
||||
\bottomrule
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
本次使用了Python3.10中的Torch机器学习框架实现了本次系统的算法，所有的仿真运行在CPU平台为Intel Core i7 11700CPU和NVIDIA RTX 3090 图形计算卡上。
|
||||
|
||||
\subsection{算法性能分析}
|
||||
\subsubsection{算法复杂度分析}
|
||||
本文中使用的DRL算法通过状态重构、卷积降采样等方式降低了数据维度和计算的复杂度，从而在一定成都上大大缩减了计算开销和计算时间。本算法使用了卷积神经网络描述，其中卷积层的复杂度为：
|
||||
\begin{equation}
|
||||
\mathcal{O}(\sum_{i=1}^{N_{conv}} M_i^2\cdot K_i^2 \cdot C_{in} \cdot C_{out})
|
||||
\label{eq:CNN}
|
||||
\end{equation}
|
||||
其中$N_{conv}$为卷积层层数，$M_i$为输出维度。$K_i$为卷积核的大小，$C_{in}$为输入的通道数，$C_{out}$为输出的通道数。全连接层的复杂度为：
|
||||
\begin{equation}
|
||||
\mathcal{O}(\sum_{i=1}^{N_{fc}} M_{in} \cdot M_{out})
|
||||
\label{eq:FC}
|
||||
\end{equation}
|
||||
$M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
|
||||
\begin{equation}
|
||||
\mathcal{O}(\sum_{i=1}^{N_{conv}} M_i^2\cdot K_i^2 \cdot C_{in} \cdot C_{out} + \sum_{i=1}^{N_{fc}} M_{in} \cdot M_{out})
|
||||
\label{eq:total}
|
||||
\end{equation}
|
||||
|
||||
\subsubsection{算法收敛性能分析}
|
||||
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\includegraphics[width=0.7\textwidth]{chap/figures/Loss.png}
|
||||
\caption{神经网络损失随eposide的变化图}
|
||||
\label{fig:Loss}
|
||||
\end{figure}
|
||||
|
||||
图\ref{fig:Loss}为平均业务到达率$\lambda = 80$, 平均业务持续时间为$\mu = 3$时，Q网络损失随着训练迭代次数增加出现先增加后变小的趋势，这是因为Q网络在0-20步即前2000条记录，Q网络还没有进行训练，而随着迭代次数的增加系统的损失逐渐趋近于0，说明了系统的收敛性。同样地图\ref{fig:blkr}反映了在仿真场景下系统的阻塞率的性能指标，随着训练次数的增加，系统的阻塞率逐渐减小，在业务量超过500 episode即5万的业务申请后趋于稳定收敛结果。
|
||||
|
||||
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\includegraphics[width=0.7\textwidth]{chap/figures/blkr.png}
|
||||
\caption{业务阻塞率的系统指标}
|
||||
\label{fig:blkr}
|
||||
\end{figure}
|
||||
|
||||
\subsubsection{系统性能分析}
|
||||
为了比较所提出算法性能，本节选取了不同的业务参数、业务持续时间验证算法的性能，并与四色复用方案下的固定信道分配方式、最小化干扰的动态信道分配方式进行了比较。这几种算法的描述如下：
|
||||
\begin{itemize}
|
||||
\item 固定信道分配方式：将系统中的可用信道按照一定的频率复用因子划分为多个子集，每个波束归属于特定的子集，从每个子集中选择可使用的信道进行分配，本次使用四色复用的方案。
|
||||
\item 最小干扰的动态分配方式：在每个时刻选择一个最小干扰的信道分配给用户。
|
||||
\end{itemize}
|
||||
|
||||
为了比较以上的算法，下面针对不同的场景进行分析。
|
||||
|
||||
\textbf{（1） 业务持续时间固定的情况}
|
||||
|
||||
在本节中将固定业务的持续时间$\mu = 3$，分别比较不同$\lambda$条件下，各个算法的性能。
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.75\textwidth]{chap/figures/mu_6.png}
|
||||
\caption{业务持续时间一定的情况下通信的阻塞率随着到达率的变化情况}
|
||||
\label{fig:mu_6blk}
|
||||
\end{figure}
|
||||
如图\ref{fig:mu_6blk}所示，阻塞率会随着业务到达率的增大而增大，可用的信道数是固定的，随着到达率的增加，会有越来越多的用户因为信道被完全占用无法得到服务。本文提出的方法在业务的持续时间固定时，在大多数的业务到达率情况下在阻塞率方面优于其他两种算法。例如在$\lambda = 60$时，本文算法的阻塞率要比固定信道分配方式低约0.3，比动态分配方式低约0.03。
|
||||
|
||||
在所有的到达率中，固定信道的分配方式的系统阻塞率都要高于其他两种方法。这是因为本次比较的信道分配算法使用的是四色复用的方式，每个波束能够使用的信道数量较其他两种方法小，动态新的分配方式可以通过灵活的配置满足新到达的业务从而能够降低整体的阻塞率。固定分配方式的与动态方法之间的差距随着到达率的增大先逐渐增大再减小，到达率较低时，所有算法的都能有效的分配信道，而随着到达率的增大，固定分配方式和动态分配方式先后到达阈值。而在大多数情况下，本文提出的算法在阻塞率方面都要优于贪心算法。这主要是因为贪心算法只考虑当前状态下系统的收益容易陷入到局部最优解，而通过DRL方法考虑了时域的关联性和累计的效率，能够更好地优化系统的性能。但是从图中也可以看到DRL方法在一些情况下阻塞率大于贪心算法，这主要是因为DRL算法不可避免的会受到训练数据集时序特征的影响，为了消除这种影响，可以考虑使用多次训练求平均值的方法。由于系统的带宽是固定的，阻塞率一定时能够服务用户数量可以一定程度上反映的系统的频谱效率与承载量，DRL算法能够在阻塞率在0.1时比固定分配算法提高2倍以上，相比贪心算法提升约4\%。这都表明DRL算法相比其他算法具有较高的频谱效率。
|
||||
|
||||
|
||||
\textbf{（2） 业务的到达率固定的情况}
|
||||
|
||||
本接将分别在低业务量和高业务量情况下分别讨论业务持续时间对业务阻塞情况的变化。
|
||||
|
||||
\begin{figure}[hbpt]
|
||||
\centering
|
||||
\includegraphics[width=0.7\textwidth]{chap/figures/mu_10.png}
|
||||
\caption{低业务量场景下系统的表现情况}
|
||||
\label{fig:lamb10}
|
||||
\end{figure}
|
||||
|
||||
如图\ref{fig:lamb10}所示，展示了低业务量场景（$\lambda = 20$）下各个算法的表现。同样地，随着业务持续时间的增加，各个算法的阻塞率都呈现出增加的趋势。从图中可以看出，当业务量较低时，两种动态资源分配算法都能够有效的降低系统的阻塞率，而固定分配方式的阻塞率要高于其他两种方法。在低业务量的场景下，DRL算法能够在业务平均持续时间更长的情况下保持较低的业务阻塞率和较高的业务呼通率，这表明在低频的业务量场景下，DRL算法能够有效的保障整个通信系统的性能。
|
||||
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\includegraphics[width=0.7\textwidth]{chap/figures/lamb_90.png}
|
||||
\caption{高业务量场景下系统的表现情况}
|
||||
\label{fig:lamb90}
|
||||
\end{figure}
|
||||
|
||||
而图\ref{fig:lamb90}反映出了高业务量场景下的情况。这张图反映出，在任何情况下固定信道分配的情况下都不如动态信道分配算法。在业务量较大的情况下，如果业务的持续时间较短，DRL算法相比贪心算法具有明显的优势，而随着业务平均持续时间的提高，由于系统的信道资源逐渐趋于饱和，两种动态信道分配方式的性能也逐渐趋同。
|
||||
\section{本章小结}
|
||||
% 本章基于深度强化学习领域的研究，提出了基于DQN的在低轨卫星通信下行链路中的多波束资源分配算法。本章首先详细分析了该场景下的序列决策问题，进而在分析问题的基础上提出了基于DQN的资源分配算法。本章首先对问题进行了数学建模，然后对状态空间进行了重构，接着详细介绍了DQN算法的原理和实现细节。最后通过仿真实验验证了本章提出的算法的有效性和性能。实验结果表明，本章提出的算法在低轨卫星通信场景下能够有效的降低系统的阻塞率，提高系统的频谱效率。
|
||||
|
||||
本研究针对低轨卫星通信下行链路中的多波束资源分配问题，提出了一种基于DQN算法的动态信道梵佛我算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本文设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法能有效减少系统阻塞率并显著提升频谱效率。
|
||||
|
||||
Binary file not shown.
|
After Width: | Height: | Size: 121 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 150 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 79 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 50 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 52 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 48 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 19 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 234 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 481 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 13 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 34 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 1.7 MiB |
Binary file not shown.
|
After Width: | Height: | Size: 30 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 31 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 101 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 56 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 588 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 22 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 20 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 71 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 38 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 372 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 1.5 MiB |
@@ -6,6 +6,7 @@
|
||||
% 如须用 xelatex 编译，请参考 pkuthss.cls 修改字体设置。
|
||||
\usepackage{textcomp, mathptmx}
|
||||
\usepackage[scaled = 0.95]{helvet}
|
||||
\usepackage{booktabs}
|
||||
\pagestyle{empty}
|
||||
\newlength{\colpad}
|
||||
\newcommand{\colwidth}{0.99\ccwd}
|
||||
|
||||
+1
-1
Submodule thesis-code updated: a0500f5111...ea146f8302
+273
@@ -16,4 +16,277 @@
|
||||
language = {chinese},
|
||||
}
|
||||
|
||||
|
||||
@techreport{GSMA-2024,
|
||||
author = {James Joiner and Kenechi Okeleke and Sayali Borole and Harry Fernando Aquije Ballon},
|
||||
title = {The Mobile Economy 2024},
|
||||
type = {R},
|
||||
institution = {GSMA Intelligence},
|
||||
year={2024},
|
||||
language = {english},
|
||||
}
|
||||
|
||||
|
||||
@ARTICLE{8410887,
|
||||
author={Qi, Chenhao and Wang, Xin},
|
||||
journal={IEEE Communications Letters},
|
||||
title={Precoding Design for Energy Efficiency of Multibeam Satellite Communications},
|
||||
year={2018},
|
||||
volume={22},
|
||||
number={9},
|
||||
pages={1826-1829},
|
||||
keywords={Satellites;Precoding;Approximation algorithms;Power demand;Quality of service;Feeds;Satellite antennas;Energy efficiency (EE);precoding design;satellite communications;multibeam satellite},
|
||||
doi={10.1109/LCOMM.2018.2855935}}
|
||||
% vim:ts=4:sw=4
|
||||
|
||||
@article{mcdowell2020low,
|
||||
title={The low earth orbit satellite population and impacts of the SpaceX Starlink constellation},
|
||||
author={McDowell, Jonathan C},
|
||||
journal={The Astrophysical Journal Letters},
|
||||
volume={892},
|
||||
number={2},
|
||||
pages={L36},
|
||||
year={2020},
|
||||
publisher={IOP Publishing}
|
||||
}
|
||||
|
||||
@incollection{henri2020oneweb,
|
||||
title={The OneWeb satellite system},
|
||||
author={Henri, Yvon},
|
||||
booktitle={Handbook of Small Satellites: Technology, Design, Manufacture, Applications, Economics and Regulation},
|
||||
pages={1091--1100},
|
||||
year={2020},
|
||||
publisher={Springer}
|
||||
}
|
||||
|
||||
@article{leyva2022ngso,
|
||||
title={NGSO constellation design for global connectivity},
|
||||
author={Leyva-Mayorga, Israel and Soret, Beatriz and Matthiesen, Bho and R{\"o}per, Maik and W{\"u}bben, Dirk and Dekorsy, Armin and Popovski, Petar},
|
||||
journal={arXiv preprint arXiv:2203.16597},
|
||||
year={2022}
|
||||
}
|
||||
|
||||
@inproceedings{jansson2022telesat,
|
||||
title={Telesat Lightspeed™-Enabling Mesh Network Solutions for Managed Data Service Flexibility Across the Globe},
|
||||
author={Jansson, Gerry},
|
||||
booktitle={2022 IEEE International Conference on Space Optical Systems and Applications (ICSOS)},
|
||||
pages={232--235},
|
||||
year={2022},
|
||||
organization={IEEE}
|
||||
}
|
||||
|
||||
@article{osoro2021techno,
|
||||
title={A techno-economic framework for satellite networks applied to low earth orbit constellations: Assessing Starlink, OneWeb and Kuiper},
|
||||
author={Osoro, Ogutu B and Oughton, Edward J},
|
||||
journal={IEEE Access},
|
||||
volume={9},
|
||||
pages={141611--141625},
|
||||
year={2021},
|
||||
publisher={IEEE}
|
||||
}
|
||||
@article{阚茜2016衰落信道下波束卫星系统功率分配策略研究,
|
||||
title={衰落信道下波束卫星系统功率分配策略研究},
|
||||
author={阚茜},
|
||||
journal={合肥: 中国科学技术大学},
|
||||
year={2016}
|
||||
}
|
||||
|
||||
@article{kaelbling1996reinforcement,
|
||||
title={Reinforcement learning: A survey},
|
||||
author={Kaelbling, Leslie Pack and Littman, Michael L and Moore, Andrew W},
|
||||
journal={Journal of artificial intelligence research},
|
||||
volume={4},
|
||||
pages={237--285},
|
||||
year={1996}
|
||||
}
|
||||
|
||||
@book{russell2016artificial,
|
||||
title={Artificial intelligence: a modern approach},
|
||||
author={Russell, Stuart J and Norvig, Peter},
|
||||
year={2016},
|
||||
publisher={Pearson}
|
||||
}
|
||||
|
||||
@book{sutton2018reinforcement,
|
||||
title={Reinforcement learning: An introduction},
|
||||
author={Sutton, Richard S and Barto, Andrew G},
|
||||
year={2018},
|
||||
publisher={MIT press}
|
||||
}
|
||||
|
||||
@article{minsky1961steps,
|
||||
title={Steps toward artificial intelligence},
|
||||
author={Minsky, Marvin},
|
||||
journal={Proceedings of the IRE},
|
||||
volume={49},
|
||||
number={1},
|
||||
pages={8--30},
|
||||
year={1961},
|
||||
publisher={IEEE}
|
||||
}
|
||||
|
||||
@incollection{morales2012introduction,
|
||||
title={An introduction to reinforcement learning},
|
||||
author={Morales, Eduardo F and Zaragoza, Julio H},
|
||||
booktitle={Decision Theory Models for Applications in Artificial Intelligence: Concepts and Solutions},
|
||||
pages={63--80},
|
||||
year={2012},
|
||||
publisher={IGI Global}
|
||||
}
|
||||
|
||||
@ARTICLE{7093179,
|
||||
author={Amin, Osama and Bedeer, Ebrahim and Ahmed, Mohamed Hossam and Dobre, Octavia A.},
|
||||
journal={IEEE Transactions on Vehicular Technology},
|
||||
title={Energy Efficiency–Spectral Efficiency Tradeoff: A Multiobjective Optimization Approach},
|
||||
year={2016},
|
||||
volume={65},
|
||||
number={4},
|
||||
pages={1975-1981},
|
||||
keywords={Linear programming;Optimization;OFDM;Power demand;Channel estimation;Complexity theory;Wireless communication;Energy efficiency;spectral efficiency;multiobjective optimization;OFDM;imperfect CSI;LMMSE;Energy efficiency (EE);imperfect channel state information (CSI);linear minimum mean square error (MMSE);multiobjective optimization;orthogonal frequency-division multiplexing (OFDM);spectral efficiency (SE)},
|
||||
doi={10.1109/TVT.2015.2425934}}
|
||||
|
||||
@article{heliot2012energy,
|
||||
title={On the energy efficiency-spectral efficiency trade-off over the MIMO Rayleigh fading channel},
|
||||
author={H{\'e}liot, Fabien and Imran, Muhammad Ali and Tafazolli, Rahim},
|
||||
journal={IEEE Transactions on Communications},
|
||||
volume={60},
|
||||
number={5},
|
||||
pages={1345--1356},
|
||||
year={2012},
|
||||
publisher={IEEE}
|
||||
}
|
||||
|
||||
@article{xiong2011energy,
|
||||
title={Energy-and spectral-efficiency tradeoff in downlink OFDMA networks},
|
||||
author={Xiong, Cong and Li, Geoffrey Ye and Zhang, Shunqing and Chen, Yan and Xu, Shugong},
|
||||
journal={IEEE transactions on wireless communications},
|
||||
volume={10},
|
||||
number={11},
|
||||
pages={3874--3886},
|
||||
year={2011},
|
||||
publisher={IEEE}
|
||||
}
|
||||
|
||||
@book{tse2005fundamentals,
|
||||
title={Fundamentals of wireless communication},
|
||||
author={Tse, David and Viswanath, Pramod},
|
||||
year={2005},
|
||||
publisher={Cambridge university press}
|
||||
}
|
||||
|
||||
@article{laursen2023no,
|
||||
title={No More “No Service”: Cellphones will increasingly text via satellite},
|
||||
author={Laursen, Lucas},
|
||||
journal={IEEE Spectrum},
|
||||
volume={60},
|
||||
number={1},
|
||||
pages={52--55},
|
||||
year={2023},
|
||||
publisher={IEEE}
|
||||
}
|
||||
|
||||
@inproceedings{garey1974some,
|
||||
title={Some simplified NP-complete problems},
|
||||
author={Garey, Michael R and Johnson, David S and Stockmeyer, Larry},
|
||||
booktitle={Proceedings of the sixth annual ACM symposium on Theory of computing},
|
||||
pages={47--63},
|
||||
year={1974}
|
||||
}
|
||||
|
||||
@article{choi2005optimum,
|
||||
title={Optimum power and beam allocation based on traffic demands and channel conditions over satellite downlinks},
|
||||
author={Choi, Jihwan P and Chan, Vincent WS},
|
||||
journal={IEEE Transactions on Wireless Communications},
|
||||
volume={4},
|
||||
number={6},
|
||||
pages={2983--2993},
|
||||
year={2005},
|
||||
publisher={IEEE}
|
||||
}
|
||||
|
||||
@article{wang2014optimization,
|
||||
title={Optimization of power allocation for multiusers in multi-spot-beam satellite communication systems},
|
||||
author={Wang, Heng and Liu, Aijun and Pan, Xiaofei and Yang, Jianfei and others},
|
||||
journal={Mathematical Problems in engineering},
|
||||
volume={2014},
|
||||
year={2014},
|
||||
publisher={Hindawi}
|
||||
}
|
||||
|
||||
@article{del1995efficient,
|
||||
title={Efficient dynamic channel allocation techniques with handover queuing for mobile satellite networks},
|
||||
author={Del Re, Enrico and Fantacci, Romano and Giambene, Giovanni},
|
||||
journal={IEEE Journal on Selected Areas in Communications},
|
||||
volume={13},
|
||||
number={2},
|
||||
pages={397--405},
|
||||
year={1995},
|
||||
publisher={IEEE}
|
||||
}
|
||||
|
||||
@inproceedings{umehira2012centralized,
|
||||
title={Centralized dynamic channel assignment schemes for multi-beam mobile satellite communications systems},
|
||||
author={Umehira, Masahiro},
|
||||
booktitle={30th AIAA International Communications Satellite System Conference (ICSSC)},
|
||||
pages={15123},
|
||||
year={2012}
|
||||
}
|
||||
|
||||
@article{liu2018deep,
|
||||
title={Deep reinforcement learning based dynamic channel allocation algorithm in multibeam satellite systems},
|
||||
author={Liu, Shuaijun and Hu, Xin and Wang, Weidong},
|
||||
journal={IEEE Access},
|
||||
volume={6},
|
||||
pages={15733--15742},
|
||||
year={2018},
|
||||
publisher={IEEE}
|
||||
}
|
||||
@inproceedings{ITUR6724,
|
||||
author = {International Telecommunication Union},
|
||||
booktitle = {ITU-R Recommendations incorprated by reference},
|
||||
editor = {},
|
||||
title = {RECOMMENDATION ITU-R S.672-4:
|
||||
Satellite antenna radiation pattern for use as
|
||||
a design objective in the fixed-satellite service
|
||||
employing geostationary satellites },
|
||||
year = {1997}
|
||||
}
|
||||
|
||||
@article{series2015propagation,
|
||||
title={Propagation data and prediction methods required for the design of Earth-space telecommunication systems},
|
||||
author={Series, P},
|
||||
year={2023}
|
||||
}
|
||||
|
||||
@article{garcia2013markov,
|
||||
title={Markov decision processes},
|
||||
author={Garcia, Fr{\'e}d{\'e}rick and Rachelson, Emmanuel},
|
||||
journal={Markov Decision Processes in Artificial Intelligence},
|
||||
pages={1--38},
|
||||
year={2013},
|
||||
publisher={Wiley Online Library}
|
||||
}
|
||||
|
||||
@article{hart1968formal,
|
||||
title={A formal basis for the heuristic determination of minimum cost paths},
|
||||
author={Hart, Peter E and Nilsson, Nils J and Raphael, Bertram},
|
||||
journal={IEEE transactions on Systems Science and Cybernetics},
|
||||
volume={4},
|
||||
number={2},
|
||||
pages={100--107},
|
||||
year={1968},
|
||||
publisher={IEEE}
|
||||
}
|
||||
|
||||
@article{mnih2013playing,
|
||||
title={Playing atari with deep reinforcement learning},
|
||||
author={Mnih, Volodymyr and Kavukcuoglu, Koray and Silver, David and Graves, Alex and Antonoglou, Ioannis and Wierstra, Daan and Riedmiller, Martin},
|
||||
journal={arXiv preprint arXiv:1312.5602},
|
||||
year={2013}
|
||||
}
|
||||
@article{schulman2017proximal,
|
||||
title={Proximal policy optimization algorithms},
|
||||
author={Schulman, John and Wolski, Filip and Dhariwal, Prafulla and Radford, Alec and Klimov, Oleg},
|
||||
journal={arXiv preprint arXiv:1707.06347},
|
||||
year={2017}
|
||||
}
|
||||
+34
-5
@@ -22,7 +22,13 @@
|
||||
% 若须在排序中实现更复杂的需求，请参考 biblatex-caspervector 的文档。
|
||||
% biblatex-caspervector 也有一个“ugly”选项，使其更像国标格式；此外也可考虑
|
||||
% 改用 style = gb7714-2015 并去掉之后两选项，详见 biblatex-gb7714-2015 的文档。
|
||||
\usepackage[backend = biber, style = caspervector, utf8, sorting = ecnyt]{biblatex}
|
||||
\usepackage[backend = biber, style = caspervector, utf8, sorting = none]{biblatex}
|
||||
\usepackage{booktabs}
|
||||
\usepackage{tabularx}
|
||||
\usepackage{siunitx}
|
||||
\usepackage{algorithm}
|
||||
\usepackage{algorithmic}
|
||||
\sisetup{per-mode=symbol}
|
||||
|
||||
% 对于 linespread 值的计算过程有兴趣的同学可以参考 pkuthss.cls。
|
||||
\renewcommand*{\bibfont}{\zihao{5}\linespread{1.27}\selectfont}
|
||||
@@ -34,8 +40,8 @@
|
||||
\newif\ifblind\blindfalse
|
||||
% 设定文档的基本信息。
|
||||
\pkuthssinfo{
|
||||
cthesisname = {博士学位论文}, ethesisname = {Doctor Thesis},
|
||||
thesiscover = {博士研究生学位论文},
|
||||
cthesisname = {硕士学位论文}, ethesisname = {Master Thesis},
|
||||
thesiscover = {硕士研究生学位论文},
|
||||
% 长标题可用 \thssnl 强制换行，不能用“\\”（双盲版会出错）。
|
||||
ctitle = {测试文档},
|
||||
etitle = {Test Document},
|
||||
@@ -59,7 +65,6 @@
|
||||
\usepackage{color}
|
||||
\def\pkuthssffaq{%
|
||||
\emph{\textcolor{red}{pkuthss 文档模版最常见问题：}}
|
||||
|
||||
\texttt{\string\cite}、\texttt{\string\parencite} %
|
||||
和 \texttt{\string\supercite} 三个命令分别产生%
|
||||
未格式化的、带方括号的和上标且带方括号的引用标记：%
|
||||
@@ -82,6 +87,30 @@
|
||||
因无法假定用户使用哪种方式排版表格，用户须自行保证表格字号符合学校规定。%
|
||||
}
|
||||
|
||||
\RequirePackage{algorithm}
|
||||
|
||||
\makeatletter
|
||||
\newenvironment{breakablealgorithm}
|
||||
{% \begin{breakablealgorithm}
|
||||
\begin{center}
|
||||
\refstepcounter{algorithm}% New algorithm
|
||||
\hrule height.8pt depth0pt \kern2pt% \@fs@pre for \@fs@ruled
|
||||
\parskip 0pt
|
||||
\renewcommand{\caption}[2][\relax]{% Make a new \caption
|
||||
{\raggedright\textbf{\fname@algorithm~\thealgorithm} ##2\par}%
|
||||
\ifx\relax##1\relax % #1 is \relax
|
||||
\addcontentsline{loa}{algorithm}{\protect\numberline{\thealgorithm}##2}%
|
||||
\else % #1 is not \relax
|
||||
\addcontentsline{loa}{algorithm}{\protect\numberline{\thealgorithm}##1}%
|
||||
\fi
|
||||
\kern2pt\hrule\kern2pt
|
||||
}
|
||||
}
|
||||
{% \end{breakablealgorithm}
|
||||
\kern2pt\hrule\relax% \@fs@post for \@fs@ruled
|
||||
\end{center}
|
||||
}
|
||||
\makeatother
|
||||
\begin{document}
|
||||
% 以下为正文之前的部分，默认不进行章节编号。
|
||||
\frontmatter
|
||||
@@ -115,7 +144,7 @@
|
||||
\appendix
|
||||
% 排版参考文献列表。bibintoc 选项使“参考文献”出现在目录中；
|
||||
% 如果同时要使参考文献列表参与章节编号，可将“bibintoc”改为“bibnumbered”。
|
||||
\printbibliography[heading = bibintoc]
|
||||
\printbibliography[heading = bibintoc, sorting = none]
|
||||
% 各附录。
|
||||
\include{chap/encl1}
|
||||
|
||||
|
||||
Reference in New Issue
Block a user