thesis/chap/chap1.tex

% Copyright (c) 2014,2016,2018 Casper Ti. Vector
% Public domain.

\chapter{绪论}
本章概要地回顾了卫星通信的发展以及卫星通信在当前时间节点的新趋势与新发展，随后介绍了本论文选题的意义、主要的研究工作以及论文的组织架构。

\section{研究背景}
    卫星通信系统是一种使用卫星作为中继的通信系统，自美国发射第一颗商用卫星后，卫星通信取得了巨大的成就，彻底改变了人类的生产和生活方式。卫星通信的发展突破了传统的移动通话与短信等业务，呈现出两大发展趋势：空天地多终端一体化网络与巨型卫星星座。
    
    第5代移动通信系统（5th gerneration mobile networks, 5G）是继4G（LTE、LTE-A、WiMAX
    -A）系统后提出的最新一代移动通信系统，其标准化阶段已经基本完成，目标是提供高速率、低延时、低成本、大容量以及海量连接设备的端到端通信解决方案。5G的大规模商用化正在有序的推进，能够为用户提供高质量的通信服务。但是，受限于不同国家不同的基建情况、地理环境状况以及经济发展水平，截止到2023年末，仍有大量的地区无法接入5G网络甚至接入互联网，世界上仍有34亿人口仍然没有接入移动互联网，而这其中，有90\%的人口已经处于移动网络覆盖的范围内，但这些网络却无法接入移动互联网\parencite{GSMA-2024}。与此同时，以虚拟现实（Virtual Reality，VR）和增强现实（Advanced Reality，AR）为主的现实扩展服务、物联网、脑机接口等新兴的服务产生的数据需求已经远远地超过了当前5G网络所能支持的范围。而在这一背景下，卫星通信系统具有以下特点：
    \begin{itemize}
        \item 覆盖范围广，受地形影响小。通过卫星的中继，可以覆盖到全球所有地域的用户，包括一些人迹罕至、缺乏地面基础设施建设条件的区域。
        \item 组网灵活。卫星通信系统具有高度的灵活性与可调整性，卫星组网可以根据特定的应用需求和环境的变化进行配置的优化，实现多种运营模式。
        \item 较低的延迟与成本。
    \end{itemize} 
    这些特征使得卫星通信系统成为地面移动通信系统的有力补充和扩展。在5G通信网络大规模部署的背景之下，第六代移动通信系统（6th gerneration mobile networks，6G）将视野更多地转向了卫星通信系统这一蓝海。传统的天基卫星通信系统与地面蜂窝网络系统长期各自独立发展，系统之间存在较大的胡同成本与差异。各国的相关研究机构与商业组织都曾经探索过多种形式和多种方式的手机与卫星的天地网络一体化方式\parencite{laursen2023no}，但直到2022年，苹果公司推出了能够直接使用卫星通信服务的iPhone14系列手机设备，地面移动蜂窝通信系统与天基卫星通信系统的一体化进程才取得实际上的进展。但是苹果公司使用的GLobalStar公司提供的卫星通信系统只支持紧急状态下的双向通信，不支持语音通信。2023年下半年，随着华为公司的Mate 60Pro系列的问世，我国成功
    生产出全球首款同时支持卫星电话、短信与地面移动通信的大众消费级智能手机终端产品，这些都证明了手机直连卫星技术上的可行性。

    卫星通信系统作为卫星通信的中继，根据与地球的距离和轨道的高低可以划分为同步轨道卫星、中轨道卫星以及地轨道卫星三种。近些年来，相较于中轨和高轨的卫星通信系统，低轨卫星通信系统由于具有延时更小、更高的速率和更轻量化与小型化的特点，逐渐成为了全球各国在卫星通信互联网与6G通信领域争夺的主要焦点（表\ref{tab:leos}）。以2016年11月15日美国SpaceX公司宣布StarLink计划的开展为标志\parencite{mcdowell2020low}，以大规模低轨卫星星座为主要载体的卫星通信互联网如雨后春笋般迅速发展起来。
    
    随着全球各国争夺卫星频段与轨道的竞争愈发激烈，我国也在加速低轨卫星互联网的建设布局。我国的星座建设在自2021年中国星网组建以来逐步走向了由国家统一协调、统筹频段与轨道的资源分配规划，充分发挥了我国集中力量办大事制度优越性。

    \begin{table}[hbpt]
        \caption{部分国家规划的卫星互联网计划}
        \centering
        \label{tab:leos}
        \begin{tabular}{cccccc}
            \toprule
            国家 & 星座名称 & 规划数量 & 预计建成时间 & 轨道 & 频段 \\
            \midrule
            美国 & StarLink & 11926 & 2027 & 1130km & Ku/Ka/V \\
            美国 & NGSO\parencite{leyva2022ngso}  & 2956 &  - & 1200km & V \\
            美国 & Kuiper\parencite{osoro2021techno} & 3236 & - & 590-530km & Ka \\
            英国 & OneWeb\parencite{henri2020oneweb} & 1280 & 2029 & 1200km & Ku/Ka \\
            加拿大 & LightSpeed\parencite{jansson2022telesat} & 298 & - & 1248km & Ka \\
            \bottomrule
        \end{tabular}
    \end{table}

    尽管卫星通信网络的不受地形限制，并且具有较低的成本和广阔的地域覆盖能力，但是考虑到卫星通信的较长的链路距离、较大的传播时延以及星上资源的有限性等问题，当前的卫星通信仍具有很大的挑战。现有的卫星通信系统为了兼顾广阔的覆盖范围与较高的卫星天线增益，通常采用多波束卫星的技术。多波束卫星系统的通过频率复用的形式提高系统的带宽容量，提升频谱的利用率。但多波束卫星的使用与频率复用的机制带来了波束之间的同频干扰（Co-Channel Interference，CCI）等影响。在这样的背景下，以如何有效的针对用户需求进行星上资源的分配与调控，为用户实现即时可靠的数据通信服务具有重要的理论意义与现实意义。传统的卫星通信系统在考虑同频干扰情况下，多波束卫星的资源分配是一个NP-Hard（non-deterministic polynomial-time hardness，非确定性多项式时间困难\parencite{garey1974some}）问题\parencite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}，这表明解决卫星资源分配问题难以在一个限定的多项式时间内稳定找到最优解，解决这一问题的时间消耗较大，寻找到某种较低复杂度的算法实现星上资源分配的优化是一个亟待解决的问题。

    % 近年来，伴随着AlphaGo、ChatGPT等人工智能应用的出现，为解决这一问题提供了一条可行的路线。人工智能技术通过利用计算机技术的形式模拟人类的某些智能行为和过程，例如学习、推理等。随着强化学习技术在以ChatGPT为代表的生成式人工智能大模型中被广泛应用，掀起了新一代人工智能技术的新浪潮。强化学习（Reinforcement Learing, RL）是机器学习中除了监督学习和非监督学习之外的另一种基本机器学习方式，强化学习不需要预先做好标签的输入与输出对，其主要关注在对未知知识的探索和利用已有知识的平衡，是一种探索-学习-重复探索的过程，具有通过自我学习环境与过往经验提高处理问题能力的特点，在视频游戏、机器人控制、预测决策等领域有着广泛应用。

    近年来，随着人工智能应用如AlphaGo、ChatGPT等的出现，为解决诸多问题提供了新的思路和方法。人工智能技术通过模拟人类的智能行为和过程，如学习、推理等，利用计算机技术的手段实现了以前难以想象的任务。特别是强化学习技术在生成式人工智能大模型中的广泛应用，如ChatGPT等，引领了新一轮人工智能技术的发展浪潮。

强化学习（Reinforcement Learning, RL）作为机器学习的一种基本方式，与监督学习和非监督学习相辅相成。与监督学习不同，强化学习不需要预先提供标记好的输入输出对，而是专注于在未知知识的探索和已有知识的利用之间寻找平衡。它是一种不断探索、学习和重复实践的过程，能够通过自我学习环境和过往经验来提高问题处理能力。因此，在视频游戏、机器人控制、预测决策等领域得到了广泛应用。
    \begin{figure}[hbpt]
        \centering
        \includegraphics[width=0.45\textwidth]{chap/figures/rlgame.png}
        \caption{强化学习技术战胜人类的游戏场景}
        \label{fig:rlgame}
    \end{figure}
    

    强化学习的技术源于行为主义心理学理论（Behaviorism Theory）中试错学习，同时与控制领域中的最优控制理论、近似动态规划（Approximate Dynamic Programming，ADP）等合流形成\parencite{kaelbling1996reinforcement}\parencite{russell2016artificial}\parencite{sutton2018reinforcement}。试错学习的思想就是动物或其他智能体通过反复的过程完成学习，动物出于某种动机采取一定的行动，在采取行动后能够得到某种刺激，刺激与实现动机的行动之间产生映射关系，正面的刺激会强化采取该行为的期望，而负面的刺激会削弱采取行为的期望，为了实现动机就会重复采取行动从而实现最终的目标\parencite{morales2012introduction}。强化学习的基本思想就是模拟生物的这种为了适应环境而进行进化的过程，自主地学会如何在环境中采取行动，以获得最大的奖励。

    相较于无监督学习和有监督学习，强化学习的方法更加灵活。在无监督学习和有监督学习中，解决问题需要明确定义问题和解决问题的模式。而在强化学习中，更多地关注确定可以采取的行动，而不需要明确规定如何执行这些行动。通过不断地尝试和错误，强化学习系统可以自主学习并逐步优化其行动策略，最终达到最优解。

    强化学习在优化决策、解决问题等方面具有广泛的应用，例如棋牌对弈、机器人模拟等。值得注意的是，强化学习与卫星通信系统的星上资源分配问题具有一定的相似性。在卫星通信系统中，卫星需要根据不同的卫星业务申请和当前的通信环境，为每个用户提供相应的资源分配。然后，根据资源分配的反馈信息，优化全局的通信业务决策策略。在这样的环境下，强化学习可以被视为一种有效的方法，通过不断地学习和调整，来实现资源分配的最优化。

\section{研究现状}
   
    在人工智能技术发展迅速的当今，对卫星资源分配的有关研究也主要分为了两大类别：一是传统的卫星资源分配与调度算法的研究，另一种是基于人工智能技术的资源分配算法。


    % 这里应该有固定分配算法的东西

    相比于传统固定分配算法，注重频谱和能量效率的资源分配策略一直是卫星通信系统以及地面卫星通信系统的主要研究方向，在无线通信系统中能量效率和频谱效率被视为一个多目标优化问题\parencite{7093179}。在地面通信系统中，关于多输入多输出通信系统（Multi-Input Multi-Output, MIMO）\parencite{tse2005fundamentals}中关于能量效率和频谱效率的优化关系已经有了比较全面讨论与诠释\parencite{heliot2012energy}，\parencite{xiong2011energy}对采用了正交频分复用多址（Orthogonal frequency division multiple access, OFDMA）\parencite{tse2005fundamentals}的无线通信系统两者之间的权衡进行了讨论。在卫星通信系统中，这一方面的研究更为重要，围绕着有限的功率、频谱、缓存等资源，有多种动态资源优化算法提出。

    在不考虑共频干扰时使用拉格朗日乘数法（）可以很好地实现基于的波束上流量需求进行动态功率的分配算法\parencite{choi2005optimum}。考虑CCI之后，解决资源分配优化问题经常使用的例如拉格朗日对偶法等求解困难，\parencite{wang2014optimization}尝试在使用拉格朗日对偶法解决引入CCI的多波束卫星系统功率分配问题，求解效率低下，而且随着波束数目的增加，无法获得确切的求解表达式。随后，为了降低算法复杂度，遗传算法（Genetic Algorithm, GA）、模拟退火（Simulated Annealing, SA）等启发式搜索算法被应用到多波束卫星系统的功率分配中。这些算法一定程度上实现了最大化系统容量和最小化系统功率之间的权衡。
        
    卫星的载荷资源主要是通过分配星上的发射功率资源以及的分配频率资源，而频率资源分配又可以进一步细分为时分复用的时隙分配和频分复用的信道资源分配。多波束卫星系统中最传统的资源分配算法是固定资源分配，各个波束和小区得到的资源分配是较为固定的，通过四色复用、七色复用等形式，实现波束之间的固定信道分配，但是随着低轨卫星系统的发展，多波束系统的波束覆盖随着时间的变化会有较大的流量波动，不同波束之间流量需求差异大、变化快，固定信道分配方式无法适应当前卫星通信发展的新趋势。动态信道分配技术能够允许系统的各个波束任意、灵活地选择系统的可用信道，通过改变载波等的分配，灵活匹配了来自各个小区的通信需求，提高整个系统的性能。基于特定设计的两个代价函数，文献\parencite{del1995efficient}提出了一种动态信道分配算法，这一算法相比固定信道分配算法有效提高了系统的接通率，但是存在着业务场景缺少动态变化并且算法的计算复杂度仍然较高的问题，与当前快速发展的大规模低轨卫星星座系统不适应。随着系统波束数目的增加，传统的动态信道分配算法也陷入了算法复杂度高的问题，为了应对这些挑战，\parencite{umehira2012centralized}提出了复杂度较低的算法方法，这些都在追求系统频谱效率与用户公平性的统一。

    
    人工智能技术的发展引起了大家的广泛关注，人工智能和机器学习等已经在多个不同的研究领域内被证明是解决复杂问题的有效方法。脱胎于强化学习方法的深度强化学习（Deep Reinforcement Learning，DRL）在解决通信系统资源分配问题上已经获得理论与实践上的支持，例如无线蜂窝通信系统的资源分配等。基于DRL方法的卫星系统资源优化问题中也有了一定的应用，这种线下训练、线上部署运行的无模型方法在许多问题上证明了其有效性。文献\parencite{liu2018deep}提出了将DRL技术应用到卫星资源分配领域的基本框架，通过将地面用户的业务需求转换为张量的形式建立起同步轨道卫星多波束卫星资源分配基本思路。文献\parencite{}提出了使用连续的状态空间与动作空间的DRL学习架构避免了需求的离散化。现有使用DRL进行动态资源管理的方法多聚焦于同步轨道卫星资源的动态分配，对于低轨卫星而言其具有较高的运动速度，资源状况与同步轨道卫星资源差距较大。


    综上所述，国内外已经有了众多关于多波束卫星动态资源的研究，从研究路径上看，从传统的拉格朗日对偶法，到经典的遗传算法等启发式搜索算法，再到人工智能领域的算法，但现有基于人工智能的算法仍然存在着一些不适应问题，值得有待深一步的研究。
    % 在传统的算法领域，通常而言面对卫星有限的星上资源的特点，优化功率、频谱等分配都是卫星通信研究的热点领域，而功率和频谱效率优化相关的研究也是地面无线通信系统的重要课题。在地面无线通信领域方面的研究已经比较充分了。



\section{论文的研究内容与组织架构}

\subsection{主要研究内容}
本文结合新一代卫星系统的背景，主要分析和研究了地轨卫星通信系统中动态资源管理问题，从可行性、所面临的挑战等方面出发，借助相关理论和一定的工具建立了相关的模型。

针对低轨卫星资源受限问题，提出了一种基于的深度Q网络的算法，该算法基于强化学习的框架，结合了深度学习与强化学习优势，建立起优化模型，以系统的阻塞率、吞吐量、能量效率作为优化目标，为了用户分配信道。
\subsection{论文组织架构}
本文分为五个章节，各章安排如下：


第一章为绪论。首先阐释了卫星通信系统的现状，研究卫星通信系统中动态资源分配的意义。然后是调研国内外对于卫星资源分配技术以及人工智能应用于该领域的研究现状，明确了研究内容。


第二章为多波束卫星系统以及强化学技术的相关介绍。首先是对多波束卫星通信系统进行了介绍，主要介绍了卫星通信系统的架构、多波束天线、卫星的链路损耗与链路特征、波束间频率复用技术，为之后的系统模型建立理论基础。其次，本章介绍了启发式算法和强化学习的基本原理、概念和特征，对本文中使用的强化学习方法进具体的介绍和分析。

第三章是基于深度强化学习的低轨卫星资源分配算法，为本文研究的主要内容。首先主要介绍了本文所提出的算法的基本应用场景，并对用户的业务需求场景、卫星的信道分配问题进行了详细的介绍和分析建模。以此为基础，详细介绍了本文提出的算法实现细节，包括算法的状态空间、动作空间、奖励函数等级制。

第四章主要是


第五章是总结与展望。对本文所做工作从方法原理和效果上都进行了一定的总结，指出了本文方法的优势与缺点，对下一步工作进行了展望与分析。
% vim:ts=4:sw=4