thesis/chap/chap1.tex

% Copyright (c) 2014,2016,2018 Casper Ti. Vector
% Public domain.

\chapter{绪论}
本章概要地回顾了卫星通信的发展以及卫星通信在当前时间节点的新趋势与新发展，随后介绍了本论文选题的意义、主要的研究工作以及论文的组织架构。

\section{研究背景}
    卫星通信系统是一种使用卫星作为中继的通信系统，自美国发射第一颗商用卫星后，卫星通信取得了巨大的成就，彻底改变了人类的生产和生活方式。卫星通信的发展突破了传统的移动通话与短信等业务，呈现出两大发展趋势：空天地多终端一体化网络与巨型卫星星座。
    
    第5代移动通信系统（5th generation mobile networks, 5G）是继4G（LTE、LTE-A、WiMAX
    -A）系统后提出的最新一代移动通信系统，其标准化阶段已经基本完成，目标是提供高速率、低延时、低成本、大容量以及海量连接设备的端到端通信解决方案。5G的大规模商用化正在有序的推进，能够为用户提供高质量的通信服务。但是，受限于不同国家的基建情况、地理环境状况以及经济发展水平差异，截止到2023年末，仍有大量的地区无法接入5G网络甚至接入互联网，世界上仍有34亿人口没有接入移动互联网，而这其中，有90\%的人口已经处于移动网络覆盖的范围内，但这些网络却无法接入移动互联网\supercite{GSMA-2024}。与此同时，以虚拟现实（Virtual Reality，VR）和增强现实（Advanced Reality，AR）为主的现实扩展服务、物联网、脑机接口等新兴的服务产生的数据需求已经远远地超过了当前5G网络所能支持的范围。卫星通信系统具有以下特点：
    \begin{itemize}
        \item 覆盖范围广，受地形影响小。通过卫星的中继，可以覆盖到全球所有地域的用户，包括一些人迹罕至、缺乏地面基础设施建设条件的区域。
        \item 组网灵活。卫星通信系统具有高度的灵活性与可调整性，卫星组网可以根据特定的应用需求和环境的变化进行配置的优化，实现多种运营模式。
    \end{itemize} 
    这使得卫星通信系统成为地面移动通信系统的有力补充和扩展\supercite{bai2018multi}。在5G通信网络大规模部署的背景之下，第六代移动通信系统（6th generation mobile networks，6G）将视野更多地转向了卫星通信系统这一领域。传统的天基卫星通信系统与地面蜂窝网络系统长期独立发展，系统之间存在较大的互通成本与差异。各国的相关研究机构与商业组织都曾经探索过多种形式和多种方式的手机与卫星的天地网络一体化方式\supercite{laursen2023no}，但直到2022年，苹果公司推出了能够直接使用卫星通信服务的iPhone14系列手机设备，地面移动蜂窝通信系统与天基卫星通信系统的一体化进程才取得实际上的进展。但是苹果公司使用的GlobalStar公司提供的卫星通信系统只支持紧急状态下的双向通信，不支持语音通信。2023年下半年，随着华为公司的Mate60 Pro系列的问世，我国成功
    生产出全球首款同时支持卫星电话、短信与地面移动通信的大众消费级智能手机终端产品，这些都证明了手机直连卫星技术与市场的可行性。

    人造卫星作为卫星通信的中继，根据与地球的距离和轨道的高低可以划分为同步轨道卫星、中轨道卫星以及低轨道卫星三种\supercite{wxtxxt}。近些年来，相较于中轨和高轨的卫星通信系统，低轨卫星通信系统由于具有延时更小、速率更高和终端更加轻量化与小型化的特点，逐渐成为了全球各国在卫星通信互联网与6G通信领域争夺的主要焦点（表\ref{tab:leos}）。以2016年11月15日美国SpaceX公司宣布StarLink计划的开展为标志\supercite{mcdowell2020low}，以大规模低轨卫星星座为主要载体的卫星通信互联网如雨后春笋般迅速发展起来。
    
    随着全球各国争夺卫星频段与轨道的竞争愈发激烈，我国也在加速低轨卫星互联网的建设布局。我国的巨型星座建设自2021年中国星网组建后逐步走向了由国家统一协调、统筹规划的发展道路，充分发挥了我国集中力量办大事制度优越性。

    \begin{table}[hbpt]
        \caption{部分卫星互联网星座计划}
        \centering
        \label{tab:leos}
        \begin{tabular}{cccccc}
            \toprule
            国家 & 星座名称 & 星座卫星数量 & 预计建成时间 & 规划轨道高度 & 规划使用频段 \\
            \midrule
            加拿大 & LightSpeed\supercite{jansson2022telesat} & 298 & - & 1248km & Ka \\

            美国 & Kuiper\supercite{osoro2021techno} & 3236 & - & 590-530km & Ka \\

            美国 & StarLink & 11926 & 2027 & 1130km & Ku/Ka/V \\
            美国 & NGSO\supercite{leyva2022ngso}  & 2956 &  - & 1200km & V \\
            英国 & OneWeb\supercite{henri2020oneweb} & 1280 & 2029 & 1200km & Ku/Ka \\
            \bottomrule
        \end{tabular}
    \end{table}

    尽管卫星通信网络不受地形限制，并且具有较低的成本和广阔的地域覆盖能力，但是考虑到卫星通信的较长的链路距离、较大的传播时延以及星上资源的有限性等问题，当前的卫星通信仍有多的问题亟待解决。现有卫星通信系统为了兼顾广阔的覆盖范围与较高的卫星天线增益，通常采用多波束技术。多波束卫星系统通过频率复用的形式提高系统的带宽容量，提升频谱的利用率\supercite{jia2018interbeam}。但多波束卫星的使用与频率复用的机制带来了波束之间的同频干扰（Co-Channel Interference\supercite{yang2003co}，CCI）等影响。在这样的背景下，以如何有效地针对用户需求进行星上资源的分配与调控，为用户实现即时可靠的数据通信服务具有重要的理论意义与现实意义。卫星通信系统的资源分配问题在考虑同频干扰情况时是一个NP-Hard（non-deterministic polynomial-time hardness，非确定性多项式时间困难\supercite{garey1974some}）问题\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}，这表明卫星资源分配问题难以在限定的多项式时间内稳定找到最优解，解决这一问题的时间复杂度高，寻找到某种较低复杂度的算法实现星上资源分配的优化是一个重要的课题。

    % 近年来，伴随着AlphaGo、ChatGPT等人工智能应用的出现，为解决这一问题提供了一条可行的路线。人工智能技术通过利用计算机技术的形式模拟人类的某些智能行为和过程，例如学习、推理等。随着强化学习技术在以ChatGPT为代表的生成式人工智能大模型中被广泛应用，掀起了新一代人工智能技术的新浪潮。强化学习（Reinforcement Learing, RL）是机器学习中除了监督学习和非监督学习之外的另一种基本机器学习方式，强化学习不需要预先做好标签的输入与输出对，其主要关注在对未知知识的探索和利用已有知识的平衡，是一种探索-学习-重复探索的过程，具有通过自我学习环境与过往经验提高处理问题能力的特点，在视频游戏、机器人控制、预测决策等领域有着广泛应用。

近年来，人工智能应用如雨后春笋般涌现，这背后是人工智能技术的突破性发展，人工智能技术为解决诸多问题提供了新的思路和方法。人工智能技术通过模拟人类的学习、推理等智能行为和过程，利用计算机技术解决了众多复杂的实际问题。
以强化学习技术为核心的生成式人工智能大模型的迅速发展，如ChatGPT等，引领了新一轮人工智能技术的发展浪潮。

强化学习（Reinforcement Learning, RL）\supercite{russell2016artificial}作为机器学习的一种基本方式，与监督学习和非监督学习相辅相成。与监督学习不同，强化学习不需要预先提供标记好的输入输出数据，而是聚焦在未知知识探索和已有知识利用。它是一种不断探索、学习和重复实践的过程，能够在与环境互动中形成历史经验，从中学习到环境的信息与知识，提高处理环境中具体问题的能力。
正因如此，强化学习方法在复杂环境中的决策问题研究中取得广泛应用，例如视频游戏AI、机器人控制、棋牌类博弈等。
% 因此，在视频游戏、机器人控制、预测决策等领域得到了广泛应用。
    \begin{figure}[hbpt]
        \centering
        \includegraphics[width=0.45\textwidth]{chap/figures/rlgame.png}
        \caption{强化学习技术战胜人类的游戏场景}
        \label{fig:rlgame}
    \end{figure}
    

    强化学习的思想源于行为主义心理学理论（Behaviorism Theory），从试错学习\supercite{张汝波2000强化学习理论}的概念发展而来，在发展过程中与控制领域中的最优控制理论（Optimal Control Theory）、近似动态规划（Approximate Dynamic Programming，ADP）等结合并逐渐完善\supercite{kaelbling1996reinforcement}\supercite{russell2016artificial}\supercite{sutton2018reinforcement}。试错学习的思想就是动物或其他物体通过反复的实践完成学习，动物出于某种动机采取一定的行动，之后得到某种刺激，刺激与行动之间产生一定的映射关系，正面的刺激会强化采取该行为的期望，而负面的刺激会削弱采取行为的期望，为了不断得到正面刺激就会重复采取行动从而实现最终的目标\supercite{morales2012introduction}。强化学习的基本思想就是模拟生物的这种为了适应环境而进行进化的过程\supercite{周碧莹2019基于强化学习的卫星网络资源调度机制}，自主地学会如何在环境中采取行动，以获得最大的奖励。

    相较于无监督学习和有监督学习，强化学习的方法更加灵活。在无监督学习和有监督学习中，解决问题需要明确定义问题和解决问题的模式\supercite{russell2016artificial}，即建立在特定模型的基础之上。而在强化学习中，仅需要明确可以采取的行动，而不需要规定如何执行这些行动。通过不断地尝试并发现错误，强化学习系统可以自主学习并逐步优化其行动策略，最终达到最优解。

    强化学习在优化决策、解决问题等方面具有广泛的应用，例如棋牌对弈、机器人模拟等。值得注意的是，强化学习与卫星通信系统的星上资源分配问题具有一定的相似性。在卫星通信系统中，卫星根据不同的业务申请需求、流量需求、资源分配情况，为每个用户提供相应的资源分配。分配完成后，根据资源分配的结果得到相应的反馈信息，优化全局的决策策略。在这样的环境下，强化学习可以被视为一种有效的方法，通过不断地学习和调整，来实现资源分配的最优化。

\section{研究现状}
   
%  一是传统的卫星资源分配与调度算法的研究，另一种是基于人工智能技术的资源分配算法。


    % 这里应该有固定分配算法的东西

    % 相比于传统固定分配算法，

    注重频谱和能量效率的资源分配策略一直是卫星通信系统以及地面卫星通信系统的主要研究方向，在无线通信系统中能量效率和频谱效率被视为一个多目标优化问题\supercite{7093179}。在地面通信系统中，关于多输入多输出通信系统\supercite{tse2005fundamentals}（Multi-Input Multi-Output, MIMO）中能量效率和频谱效率的优化关系已经有了比较全面讨论与诠释\supercite{heliot2012energy}，\parencite{xiong2011energy}对采用了正交频分复用多址\supercite{tse2005fundamentals}（Orthogonal frequency division multiple access, OFDMA）的无线通信系统能量效率和频谱效率之间的关系进行了详细讨论。在卫星通信系统中，围绕着有限的功率、频谱、缓存等资源分配的研究更为重要，有多种动态资源优化算法提出。

    在不考虑同频干扰时，使用拉格朗日乘数法，可以根据波束上流量需求的变化进行动态的功率分配\supercite{choi2005optimum}。考虑同频干扰之后，常规的凸优化算法，例如拉格朗日法等方法求解困难，\parencite{wang2014optimization}尝试使用拉格朗日对偶法解决引入CCI的多波束卫星系统功率分配问题，但是求解效率低下，且随着波束数目的增加，无法获得确定的结果表达式。为了降低算法复杂度，遗传算法（Genetic Algorithm, GA）\supercite{booker1989classifier}、模拟退火算法（Simulated Annealing, SA）\supercite{陈华根2004模拟退火算法机理研究}等启发式搜索算法被应用到多波束卫星系统的资源分配中。这些算法一定程度上实现了最大化系统容量和最小化系统功率之间的权衡\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。
        
    卫星的载荷资源分配主要是对发射功率资源和频率资源的分配，而频率资源分配又可以进一步细分为时分复用的时隙分配和频分复用的信道资源分配。多波束卫星系统中最传统的资源分配算法是固定资源分配，各个波束和小区得到的资源分配是较为固定的，通过四色复用、七色复用等形式，实现波束之间的固定信道分配，但是随着低轨卫星系统的发展，多波束系统的波束覆盖随着时间的变化会有较大的流量波动，不同波束之间流量需求差异大、变化快，固定信道分配方式无法适应当前卫星通信发展的新趋势。动态信道分配技术能够允许系统的各个波束任意、灵活地选择系统的可用信道，通过改变载波等的分配，灵活匹配了来自各个小区的通信需求，提高整个系统的性能\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。文献\parencite{del1995efficient}基于特定设计的两个代价函数提出了一种动态信道分配算法，这一算法相比固定信道分配算法有效提高了系统的接通率，但是该研究中业务场景仍然缺少动态变化并且算法的计算复杂度仍然较高，与当前快速发展的大规模低轨卫星星座系统不适应。随着系统波束数目的增加，传统的动态信道分配算法也陷入了算法复杂度高的问题，为了应对这些挑战，\parencite{umehira2012centralized}提出了复杂度较低的算法，这一方法希望追求系统频谱效率与用户公平性的统一。

    近些年来，“跳波束（动态波束跳跃，Dynamic Beam Hopping）”技术也是动态资源分配的热门研究领域。通过时分复用的思想，将系统的时间划分为多个不同时隙，每个时隙都有一部分小区被点亮提供数据传输服务，通过少量的波束实现大规模区域的覆盖。跳波束的本质是根据时变的流量需求在地理空间分布上的变化动态地调整服务的区域，传统的跳波束方法存在两点不足之处\supercite{唐斯琪2023深度强化学习在天基信息网络中的应用}：解空间会随着波束数量的上升以阶乘的方式增长；流量需求分布发生变化时，需要重新建模迭代求解。文献\supercite{liu2013max}提出了流量最大最小速率控制调度法，但该问题只能实现单目标的优化，在保证了吞吐量需求时确无法保证不同波束之间的业务公平性。文献\parencite{han2015qos}使用长期时延统计的方法进行波束调度，能够在满足吞吐量的同时兼顾部分公平性问题。文献\parencite{angeletti2006beam}提出了使用遗传算法指定波束调度计划的方式，但是每次决策都需要重新迭代，在流量空间分布迅速变化时，性能迅速下降。

    
    人工智能技术的发展引起了大家的广泛关注，人工智能和机器学习等已经在多个不同的研究领域内被证明是解决复杂问题的有效方法。脱胎于强化学习方法的深度强化学习（Deep Reinforcement Learning，DRL）在解决通信系统资源分配问题上已经获得理论与实践上的支持，例如无线蜂窝通信系统的资源分配\supercite{xiong2019deep}等。基于DRL方法的卫星系统资源优化算法也有了一定的研究，这种线下训练、线上部署运行的无模型方法在许多问题上证明了其有效性。表\ref{tab:drlresearch}给出了目前的研究中将卫星通信与深度强化学习相结合的部分研究领域。文献\parencite{liu2018deep}提出了将DRL技术应用到卫星资源分配领域的基本框架，通过将地面用户的业务需求转换为多维张量的形式建立起同步轨道卫星多波束卫星资源分配基本思路。文献\parencite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}使用多目标优化的方式进行信道的分配以实现功率和用户满意度的多目标优化，文献\parencite{luis2019deep}提出了使用连续的状态空间与动作空间的DRL学习架构避免了需求的离散化。现有使用DRL进行动态资源管理的方法多聚焦于同步轨道卫星资源的动态分配，在此假设下卫星面对的环境相对变化不大。在跳波束问题上，文献\parencite{hu2020dynamic}提出了使用DRL解决跳波束决策的问题，为了解决算法空间维度较高的问题，文章给出了双环多步骤决策方法，但是该方法由于增加了多重决策步骤，实时决策时间表现差。\parencite{lin2022dynamic}使用了多智能体独立决策、限制信道分配的方式简化了动作空间，提高了决策效率，但是多智能体会占用更多的资源进行决策，也使得分配结果易陷入局部最优解的状况。

    \begin{table}
        \centering
        \caption{基于深度强化学习卫星通信问题研究总结\supercite{唐斯琪2023深度强化学习在天基信息网络中的应用}}
        \label{tab:drlresearch}
        \begin{tabularx}{0.75\textwidth}{XXX}
            
            \toprule
            领域 & 优化目标 & 效果收益 \\

            \midrule
            频谱资源分配 & 时隙、信道、带宽、功率等 & 较高，能有效提高频谱利用率和资源利用率 \\
            跳波束 & 波束点亮方案 & 较高，能有效解决流量空间分布不均匀问题 \\
            路由网络选择 & 低轨卫星下一跳选择 & 较低，主要作用是降低时延，提高吞吐量，但实时性要求高，时间成本太大 \\
            拥塞控制 & 网络拥塞控制 & 收益较高，问题简单直接\\
            卫星切换 & 低轨卫星网络中的卫星切换选择 & 意义有限，只适用于超大规模星座\supercite{9210133} \\
            \bottomrule
        \end{tabularx}
    \end{table}
    


    % 综上所述，国内外已经有了众多关于多波束卫星动态资源的研究，从研究路径上看，从传统凸优化理论中的拉格朗日对偶法，到经典的遗传算法等启发式搜索算法，再到人工智能领域的算法，但现有基于人工智能的算法仍然存在着一些不适应问题例如算法复杂度、决策实时性等，值得有待深一步的研究。
    综上所述，国内外已经有了众多关于多波束动态资源分配的研究，总结来看主要有以下三种方法：基于传统凸优化理论方法例如注水算法\supercite{he2013water}、拉格朗日对偶法；基于元启发算法的搜索算法如模拟退火、遗传算法等；基于人工智能领域的算法如深度强化学习等。现有人工智能算法仍然存在着一些问题，例如算法的复杂度较高、决策的实时性较差等问题，值得进一步研究。
    % 在传统的算法领域，通常而言面对卫星有限的星上资源的特点，优化功率、频谱等分配都是卫星通信研究的热点领域，而功率和频谱效率优化相关的研究也是地面无线通信系统的重要课题。在地面无线通信领域方面的研究已经比较充分了。



\section{论文的研究内容与组织架构}

\subsection{主要研究内容}
本文结合新一代卫星系统的背景，主要分析和研究了地星通信系统中动态资源管理问题，从可行性、所面临的挑战等方面出发，借助相关理论和一定的工具建立了相关的模型。

针对低轨卫星资源受限问题，实现了一种基于深度Q网络的算法，该算法基于强化学习的框架，结合了深度学习与强化学习优势，建立起优化模型，以系统的阻塞率和频谱效率作为优化目标，为用户分配信道。

针对卫星跳波束问题，设计实现了一种基于多智能体深度Q网络的算法，基于强化学习框架，结合多智能体与单智能体强化学习的优势，在算法复杂度和效果之间取得了平衡。
\subsection{论文组织架构}
本文分为五个章节，各章安排如下：


第一章为绪论。首先阐释了卫星通信系统的现状，研究卫星通信系统中动态资源分配的意义。然后是调研国内外对于卫星资源分配技术以及人工智能应用于该领域的研究现状，明确了研究内容。


第二章为多波束卫星系统以及强化学习技术的相关介绍。首先是介绍了卫星通信系统的架构、多波束天线的模型、卫星的链路损耗与空间传输模型、波束间频率复用技术，为之后的系统模型建立理论基础。其次，本章介绍了序列决策和强化学习的基本原理、概念和特征，对本文中使用的强化学习方法进具体的介绍和分析。

第三章是基于深度强化学习的低轨卫星信道分配算法。首先是介绍算法的基本应用场景，并对用户的业务需求场景、卫星的信道分配问题进行了详细的介绍和分析建模。以此为基础，详细介绍了算法实现细节，包括算法的状态空间、动作空间、奖励函数等机制。

第四章是基于深度强化学习的跳波束与信道联合分配算法。首先介绍了跳波束技术的基本原理，给出了算法的适应场景，详细设计细节与仿真环境，最后给出了仿真实验结果分析。

第五章是总结与展望。对本文所做工作从方法原理和效果上都进行了一定的总结，指出了本文方法的优势与缺点，对下一步工作进行了展望与分析。
% vim:ts=4:sw=4