final

chap/abs.tex

@@ -11,7 +11,7 @@
 	
 	% 最后，针对跳波束问题，本文概述了跳波束卫星通信系统的前向链路模型，以优化通信吞吐量和时延的公平性为优化目标函数，建立起基于深度强化学习的跳波束与信道联合分配算法。该算法包含两个独立的深度Q网络，分别对波束点亮方案和信道分配方式进行优化，通过多头输出的方式解决跳波束分配问题中空间复杂度过高的问题。仿真结果表明，与传统算法相比，该方法能有效提高系统的吞吐量，并且能够保证系统的时延公平性，同时相比遗传算法等启发式算法能够有效减少系统的决策时间，能够应对动态变化的系统环境。
 
-	近年来随着卫星互联网、手机直连卫星快速发展，国际标准组织3GPP、ITU等机构已将卫星通信纳入第六代无线通信的重要组成部分，卫星通信将步入飞速发展的新阶段，星通信将会得到更深入的融合应用，卫星通信业务及用户数量等将迎来快速增长。传统频率复用、多波束技术等有效提升了卫星资源使用效率，但随着用户数量的增加和服务质量需求的多样化，业务在时间和空间上的分布不均问题变得更加突出，这对系统灵活高效地分配资源提出了更高的挑战。论文针对卫星通信中资源分配面临的新问题，结合目前广受关注的深度强化学习技术，在信道分配问题上利用神经网络发掘时空关联性，在跳波束问题上利用多智能体等技术解决跳波束问题中信道与波束点亮联合分配的问题。
+	近年来随着卫星互联网、手机直连卫星快速发展，国际标准组织3GPP、ITU等机构已将卫星通信纳入第六代无线通信的重要组成部分，卫星通信将步入飞速发展的新阶段，卫星通信将会得到更深入的融合应用，卫星通信业务及用户数量等将迎来快速增长。传统频率复用、多波束技术等有效提升了卫星资源使用效率，但随着用户数量的增加和服务质量需求的多样化，业务在时间和空间上的分布不均问题变得更加突出，这对系统灵活高效地分配资源提出了更高的挑战。论文针对卫星通信中资源分配面临的新问题，结合目前广受关注的深度强化学习技术，在信道分配问题上利用神经网络发掘时空关联性，在跳波束问题上利用多智能体等技术解决跳波束问题中信道与波束点亮联合分配的问题。
 
 本文首先介绍了多波束卫星通信系统的基本架构、卫星的信道传输特性以及马尔科夫决策过程和强化学习等技术，建立了基于深度强化学习的信道分配问题的基本场景与用户通信模型。为了保证用户的通信质量，以用户通信的阻塞率作为优化目标，设计了基于深度强化学习的动态信道分配算法。该算法通过状态转换将用户的地理位置描述为多通道图像，并基于卷积神经网络和深度Q网络进行求解，从而获得实时的信道分配策略。仿真结果表明，基于深度强化学习的信道分配算法相比其他算法，能够有效保证系统的接通率，提高频谱效率。
 

chap/ack.tex

@@ -6,7 +6,7 @@
 
 教诲如春风，师恩似海深。首先，我要向我的导师刘爱民老师致以最深的谢意。刘老师不断给学生们提供优良的科研环境，在我处于困难时期时给予关怀和鼓励，让我多次从低谷中成长起来。您给予我的帮助与支持无比巨大难以用言语尽数表达。在即将离开实验室之际，回望过去，我深感惭愧，自己未能做得更好。同时，我也要感谢吕国成老师对我的毕业论文写作过程中的诸多帮助，您的建议让我对卫星通信的理解更加深刻，您不仅慷慨地分享科研方法和工程项目经验，更在日常生活中给予我诸多实用的建议与无私的帮助。感谢金野老师、冯梅萍老师、董明科老师、依那老师、程宇新老师。从科研工作到论文撰写，从课程学习到校园生活，都离不开几位老师的关心和都知道。金老师渊博的学识和豁达的态度让我终身受益。冯老师始终如慈母搬关心我的工作、生活和学习。董老师平易近人，乐于为每一个学生提供力所能及的帮助。依老师幽默风趣话语总能化解科研的辛苦。程老师作为班主任，给予了我们渡过特殊时期的力量。感谢刘阳老师和赵伊丽老师的支持和帮助。
 
-感谢北京大学电子学院的王一涵老师、商小琦老师、赵紫青老师、丁雪芹老师和贾小月老师，在我研究生阶段的学习、工作、求职等方面给予了我各种帮助和指导。感谢马黎黎老师、李子奇老师、付晓倩老师和北京大学信息科学技术学院2020级1班的全体同学们，让我能够在学习工作之余帮助更多的人。感谢厦门九华通信设备厂北研一部的段中雄、侯丁楠、刘焜、高冰、孙浩、成维、杜博帆等等，感谢各位在实验室对我的关照。
+感谢北京大学电子学院的王一涵老师、商小琦老师、赵紫青老师、丁雪芹老师和贾小月老师，在我研究生阶段的学习、工作、求职等方面给予了我各种帮助和指导。感谢马黎黎老师、李子奇老师、付晓倩老师和北京大学信息科学技术学院2020级2班的全体同学们，让我能够在学习工作之余帮助更多的人。感谢厦门九华通信设备厂北研一部的段中雄、侯丁楠、刘焜、高冰、孙浩、成维、杜博帆等等，感谢各位在实验室对我的关照。
 
 感谢我的同学们，在三年的学习生活中，我们在学习上互帮互助，从彼此身上学到了很多。感谢我的室友沈翔、刘森、田凯元，三年舍友情，一生好兄弟。感谢实验室的家人们，感谢赵梅惠师姐和金怡丰师兄在我论文选题时对我的帮助，感谢田孜孜和田昀在我生活、学习和科研中的帮助。感谢李旭坤、陈希凡、张博嘉、范皓年、杨飒、乔泽雨、武晨宇、丁建睿、冯璐高泽、何翊卓、汪俊、葛非、江行健、陈泓至、刘尔琪、葛尊铭等师弟师妹们。
 

chap/chap1.tex

@@ -16,7 +16,7 @@
     这使得卫星通信系统成为地面移动通信系统的有力补充和扩展\supercite{bai2018multi}。在5G通信网络大规模部署的背景之下，第六代移动通信系统（6th generation mobile networks，6G）将视野更多地转向了卫星通信系统这一领域。传统的天基卫星通信系统与地面蜂窝网络系统长期独立发展，系统之间存在较大的互通成本与差异。各国的相关研究机构与商业组织都曾经探索过多种形式和多种方式的手机与卫星的天地网络一体化方式\supercite{laursen2023no}，但直到2022年，苹果公司推出了能够直接使用卫星通信服务的iPhone14系列手机设备，地面移动蜂窝通信系统与天基卫星通信系统的一体化进程才取得实际上的进展。但是苹果公司使用的GlobalStar公司提供的卫星通信系统只支持紧急状态下的双向通信，不支持语音通信。2023年下半年，随着华为公司的Mate60 Pro系列的问世，我国成功
     生产出全球首款同时支持卫星电话、短信与地面移动通信的大众消费级智能手机终端产品，这些都证明了手机直连卫星技术与市场的可行性。
 
-    人造卫星作为卫星通信的中继，根据与地球的距离和轨道的高低可以划分为同步轨道卫星、中轨道卫星以及低轨道卫星三种\supercite{wxtxxt}。近些年来，相较于中轨和高轨的卫星通信系统，低轨卫星通信系统由于具有延时更小、更速率更高和终端更加轻量化与小型化的特点，逐渐成为了全球各国在卫星通信互联网与6G通信领域争夺的主要焦点（表\ref{tab:leos}）。以2016年11月15日美国SpaceX公司宣布StarLink计划的开展为标志\supercite{mcdowell2020low}，以大规模低轨卫星星座为主要载体的卫星通信互联网如雨后春笋般迅速发展起来。
+    人造卫星作为卫星通信的中继，根据与地球的距离和轨道的高低可以划分为同步轨道卫星、中轨道卫星以及低轨道卫星三种\supercite{wxtxxt}。近些年来，相较于中轨和高轨的卫星通信系统，低轨卫星通信系统由于具有延时更小、速率更高和终端更加轻量化与小型化的特点，逐渐成为了全球各国在卫星通信互联网与6G通信领域争夺的主要焦点（表\ref{tab:leos}）。以2016年11月15日美国SpaceX公司宣布StarLink计划的开展为标志\supercite{mcdowell2020low}，以大规模低轨卫星星座为主要载体的卫星通信互联网如雨后春笋般迅速发展起来。
     
     随着全球各国争夺卫星频段与轨道的竞争愈发激烈，我国也在加速低轨卫星互联网的建设布局。我国的巨型星座建设自2021年中国星网组建后逐步走向了由国家统一协调、统筹规划的发展道路，充分发挥了我国集中力量办大事制度优越性。
 
@@ -39,7 +39,7 @@
         \end{tabular}
     \end{table}
 
-    尽管卫星通信网络的不受地形限制，并且具有较低的成本和广阔的地域覆盖能力，但是考虑到卫星通信的较长的链路距离、较大的传播时延以及星上资源的有限性等问题，当前的卫星通信仍有多的问题亟待解决。现有卫星通信系统为了兼顾广阔的覆盖范围与较高的卫星天线增益，通常采用多波束技术。多波束卫星系统的通过频率复用的形式提高系统的带宽容量，提升频谱的利用率\supercite{jia2018interbeam}。但多波束卫星的使用与频率复用的机制带来了波束之间的同频干扰（Co-Channel Interference\supercite{yang2003co}，CCI）等影响。在这样的背景下，以如何有效地针对用户需求进行星上资源的分配与调控，为用户实现即时可靠的数据通信服务具有重要的理论意义与现实意义。卫星通信系统的资源分配问题在考虑同频干扰情况时是一个NP-Hard（non-deterministic polynomial-time hardness，非确定性多项式时间困难\supercite{garey1974some}）问题\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}，这表明卫星资源分配问题难以在限定的多项式时间内稳定找到最优解，解决这一问题的时间复杂度高，寻找到某种较低复杂度的算法实现星上资源分配的优化是一个重要的课题。
+    尽管卫星通信网络不受地形限制，并且具有较低的成本和广阔的地域覆盖能力，但是考虑到卫星通信的较长的链路距离、较大的传播时延以及星上资源的有限性等问题，当前的卫星通信仍有多的问题亟待解决。现有卫星通信系统为了兼顾广阔的覆盖范围与较高的卫星天线增益，通常采用多波束技术。多波束卫星系统通过频率复用的形式提高系统的带宽容量，提升频谱的利用率\supercite{jia2018interbeam}。但多波束卫星的使用与频率复用的机制带来了波束之间的同频干扰（Co-Channel Interference\supercite{yang2003co}，CCI）等影响。在这样的背景下，以如何有效地针对用户需求进行星上资源的分配与调控，为用户实现即时可靠的数据通信服务具有重要的理论意义与现实意义。卫星通信系统的资源分配问题在考虑同频干扰情况时是一个NP-Hard（non-deterministic polynomial-time hardness，非确定性多项式时间困难\supercite{garey1974some}）问题\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}，这表明卫星资源分配问题难以在限定的多项式时间内稳定找到最优解，解决这一问题的时间复杂度高，寻找到某种较低复杂度的算法实现星上资源分配的优化是一个重要的课题。
 
     % 近年来，伴随着AlphaGo、ChatGPT等人工智能应用的出现，为解决这一问题提供了一条可行的路线。人工智能技术通过利用计算机技术的形式模拟人类的某些智能行为和过程，例如学习、推理等。随着强化学习技术在以ChatGPT为代表的生成式人工智能大模型中被广泛应用，掀起了新一代人工智能技术的新浪潮。强化学习（Reinforcement Learing, RL）是机器学习中除了监督学习和非监督学习之外的另一种基本机器学习方式，强化学习不需要预先做好标签的输入与输出对，其主要关注在对未知知识的探索和利用已有知识的平衡，是一种探索-学习-重复探索的过程，具有通过自我学习环境与过往经验提高处理问题能力的特点，在视频游戏、机器人控制、预测决策等领域有着广泛应用。
 
@@ -76,9 +76,9 @@
 
     在不考虑同频干扰时，使用拉格朗日乘数法，可以根据波束上流量需求的变化进行动态的功率分配\supercite{choi2005optimum}。考虑同频干扰之后，常规的凸优化算法，例如拉格朗日法等方法求解困难，\parencite{wang2014optimization}尝试使用拉格朗日对偶法解决引入CCI的多波束卫星系统功率分配问题，但是求解效率低下，且随着波束数目的增加，无法获得确定的结果表达式。为了降低算法复杂度，遗传算法（Genetic Algorithm, GA）\supercite{booker1989classifier}、模拟退火算法（Simulated Annealing, SA）\supercite{陈华根2004模拟退火算法机理研究}等启发式搜索算法被应用到多波束卫星系统的资源分配中。这些算法一定程度上实现了最大化系统容量和最小化系统功率之间的权衡\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。
         
-    卫星的载荷资源分配主要是对发射功率资源和频率资源的分配，而频率资源分配又可以进一步细分为时分复用的时隙分配和频分复用的信道资源分配。多波束卫星系统中最传统的资源分配算法是固定资源分配，各个波束和小区得到的资源分配是较为固定的，通过四色复用、七色复用等形式，实现波束之间的固定信道分配，但是随着低轨卫星系统的发展，多波束系统的波束覆盖随着时间的变化会有较大的流量波动，不同波束之间流量需求差异大、变化快，固定信道分配方式无法适应当前卫星通信发展的新趋势。动态信道分配技术能够允许系统的各个波束任意、灵活地选择系统的可用信道，通过改变载波等的分配，灵活匹配了来自各个小区的通信需求，提高整个系统的性能\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。文献\supercite{del1995efficient}基于特定设计的两个代价函数提出了一种动态信道分配算法，这一算法相比固定信道分配算法有效提高了系统的接通率，但是该研究中业务场景仍然缺少动态变化并且算法的计算复杂度仍然较高，与当前快速发展的大规模低轨卫星星座系统不适应。随着系统波束数目的增加，传统的动态信道分配算法也陷入了算法复杂度高的问题，为了应对这些挑战，\parencite{umehira2012centralized}提出了复杂度较低的算法，这一方法希望追求系统频谱效率与用户公平性的统一。
+    卫星的载荷资源分配主要是对发射功率资源和频率资源的分配，而频率资源分配又可以进一步细分为时分复用的时隙分配和频分复用的信道资源分配。多波束卫星系统中最传统的资源分配算法是固定资源分配，各个波束和小区得到的资源分配是较为固定的，通过四色复用、七色复用等形式，实现波束之间的固定信道分配，但是随着低轨卫星系统的发展，多波束系统的波束覆盖随着时间的变化会有较大的流量波动，不同波束之间流量需求差异大、变化快，固定信道分配方式无法适应当前卫星通信发展的新趋势。动态信道分配技术能够允许系统的各个波束任意、灵活地选择系统的可用信道，通过改变载波等的分配，灵活匹配了来自各个小区的通信需求，提高整个系统的性能\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。文献\parencite{del1995efficient}基于特定设计的两个代价函数提出了一种动态信道分配算法，这一算法相比固定信道分配算法有效提高了系统的接通率，但是该研究中业务场景仍然缺少动态变化并且算法的计算复杂度仍然较高，与当前快速发展的大规模低轨卫星星座系统不适应。随着系统波束数目的增加，传统的动态信道分配算法也陷入了算法复杂度高的问题，为了应对这些挑战，\parencite{umehira2012centralized}提出了复杂度较低的算法，这一方法希望追求系统频谱效率与用户公平性的统一。
 
-    近些年来，“跳波束（动态波束跳跃，Dynamic Beam Hopping）”技术也是动态资源分配的热门研究领域。通过时分复用的思想，将系统的时间划分为多个不同时隙，每个时隙都有一部分小区被点亮提供数据传输服务，通过少量的波束实现大规模区域的覆盖。跳波束的本质是根据时变的流量需求在地理空间分布上的变化动态地调整服务的区域，传统的跳波束方法存在两点不足之处\supercite{唐斯琪2023深度强化学习在天基信息网络中的应用}：解空间会随着波束数量的上升以阶乘的方式增长；流量需求分布发生变化时，需要重新建模迭代求解。文献\supercite{liu2013max}提出了流量最大最小速率控制调度法，但该问题只能实现单目标的优化，在保证了吞吐量需求时确无法保证不同波束之间的业务公平性。文献\supercite{han2015qos}使用长期时延统计的方法进行波束调度，能够在满足吞吐量的同时兼顾部分公平性问题。文献\supercite{angeletti2006beam}提出了使用遗传算法指定波束调度计划的方式，但是每次决策都需要重新迭代，在流量空间分布迅速变化时，性能迅速下降。
+    近些年来，“跳波束（动态波束跳跃，Dynamic Beam Hopping）”技术也是动态资源分配的热门研究领域。通过时分复用的思想，将系统的时间划分为多个不同时隙，每个时隙都有一部分小区被点亮提供数据传输服务，通过少量的波束实现大规模区域的覆盖。跳波束的本质是根据时变的流量需求在地理空间分布上的变化动态地调整服务的区域，传统的跳波束方法存在两点不足之处\supercite{唐斯琪2023深度强化学习在天基信息网络中的应用}：解空间会随着波束数量的上升以阶乘的方式增长；流量需求分布发生变化时，需要重新建模迭代求解。文献\supercite{liu2013max}提出了流量最大最小速率控制调度法，但该问题只能实现单目标的优化，在保证了吞吐量需求时确无法保证不同波束之间的业务公平性。文献\parencite{han2015qos}使用长期时延统计的方法进行波束调度，能够在满足吞吐量的同时兼顾部分公平性问题。文献\parencite{angeletti2006beam}提出了使用遗传算法指定波束调度计划的方式，但是每次决策都需要重新迭代，在流量空间分布迅速变化时，性能迅速下降。
 
     
     人工智能技术的发展引起了大家的广泛关注，人工智能和机器学习等已经在多个不同的研究领域内被证明是解决复杂问题的有效方法。脱胎于强化学习方法的深度强化学习（Deep Reinforcement Learning，DRL）在解决通信系统资源分配问题上已经获得理论与实践上的支持，例如无线蜂窝通信系统的资源分配\supercite{xiong2019deep}等。基于DRL方法的卫星系统资源优化算法也有了一定的研究，这种线下训练、线上部署运行的无模型方法在许多问题上证明了其有效性。表\ref{tab:drlresearch}给出了目前的研究中将卫星通信与深度强化学习相结合的部分研究领域。文献\parencite{liu2018deep}提出了将DRL技术应用到卫星资源分配领域的基本框架，通过将地面用户的业务需求转换为多维张量的形式建立起同步轨道卫星多波束卫星资源分配基本思路。文献\parencite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}使用多目标优化的方式进行信道的分配以实现功率和用户满意度的多目标优化，文献\parencite{luis2019deep}提出了使用连续的状态空间与动作空间的DRL学习架构避免了需求的离散化。现有使用DRL进行动态资源管理的方法多聚焦于同步轨道卫星资源的动态分配，在此假设下卫星面对的环境相对变化不大。在跳波束问题上，文献\parencite{hu2020dynamic}提出了使用DRL解决跳波束决策的问题，为了解决算法空间维度较高的问题，文章给出了双环多步骤决策方法，但是该方法由于增加了多重决策步骤，实时决策时间表现差。\parencite{lin2022dynamic}使用了多智能体独立决策、限制信道分配的方式简化了动作空间，提高了决策效率，但是多智能体会占用更多的资源进行决策，也使得分配结果易陷入局部最优解的状况。
@@ -115,9 +115,9 @@
 \subsection{主要研究内容}
 本文结合新一代卫星系统的背景，主要分析和研究了地星通信系统中动态资源管理问题，从可行性、所面临的挑战等方面出发，借助相关理论和一定的工具建立了相关的模型。
 
-针对低轨卫星资源受限问题，给出了一种基于深度Q网络的算法，该算法基于强化学习的框架，结合了深度学习与强化学习优势，建立起优化模型，以系统的阻塞率和频谱效率作为优化目标，为用户分配信道。
+针对低轨卫星资源受限问题，实现了一种基于深度Q网络的算法，该算法基于强化学习的框架，结合了深度学习与强化学习优势，建立起优化模型，以系统的阻塞率和频谱效率作为优化目标，为用户分配信道。
 
-针对卫星跳波束问题，给出了一种基于多智能体深度Q网络的算法，基于强化学习框架，结合多智能体与单智能体强化学习的优势，在算法复杂度和效果之间取得了平衡。
+针对卫星跳波束问题，设计实现了一种基于多智能体深度Q网络的算法，基于强化学习框架，结合多智能体与单智能体强化学习的优势，在算法复杂度和效果之间取得了平衡。
 \subsection{论文组织架构}
 本文分为五个章节，各章安排如下：
 
@@ -127,7 +127,7 @@
 
 第二章为多波束卫星系统以及强化学习技术的相关介绍。首先是介绍了卫星通信系统的架构、多波束天线的模型、卫星的链路损耗与空间传输模型、波束间频率复用技术，为之后的系统模型建立理论基础。其次，本章介绍了序列决策和强化学习的基本原理、概念和特征，对本文中使用的强化学习方法进具体的介绍和分析。
 
-第三章是基于深度强化学习的低轨卫星信道分配算法。首先是介绍算法的基本应用场景，并对用户的业务需求场景、卫星的信道分配问题进行了详细的介绍和分析建模。以此为基础，详细介绍了给出的算法实现细节，包括算法的状态空间、动作空间、奖励函数等机制。
+第三章是基于深度强化学习的低轨卫星信道分配算法。首先是介绍算法的基本应用场景，并对用户的业务需求场景、卫星的信道分配问题进行了详细的介绍和分析建模。以此为基础，详细介绍了算法实现细节，包括算法的状态空间、动作空间、奖励函数等机制。
 
 第四章是基于深度强化学习的跳波束与信道联合分配算法。首先介绍了跳波束技术的基本原理，给出了算法的适应场景，详细设计细节与仿真环境，最后给出了仿真实验结果分析。
 

chap/chap2.tex

@@ -81,7 +81,7 @@
 \subsection{天线增益}
 卫星使用天线进行上行信号的接收和下行信号的发射，并且实现对信号的放大处理。多波束天线主要包括了多波束相控阵天线、多波束透镜天线以及反射面天线等三种。反射面天线常用于同步轨道的卫星通信系统，透镜天线则应用较少\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}。相控阵天线在多波束卫星通信系统中有着越来越广泛的应用，包括StarLink在内的近地轨道卫星全球互联网接入服务都是用了有源相控阵天线技术\supercite{徐冰玉2021starlink}。多波束卫星的相控阵卫星天线由多个相同的天线元间距均匀排列而成，通过波束形成网络激励生成所需要的不同形状的相互独立的波束，对波束的数目等进行灵活的配置与管理。下面给出多波束卫星天线的传输模型。
 
-天线增益是对一定方向上信号发射和接收的能力，天线在其最辐射方向上具有最大的增益，可以表示为：
+天线增益是一定方向上信号的发射和接收能力，天线在其最强辐射方向上具有最大的增益，可以表示为：
 \begin{equation}
     G_t  = \frac{4\pi}{\lambda ^ 2} A_e
     \label{eq:gain}
@@ -155,7 +155,7 @@
     \end{table}
 
 \subsection{链路损耗}
-卫星通信息系统中，系统的通信质量与信道容量等主要由卫星链路的传播特性决定，本部分将介绍星地链路的基本传输特性与损耗特性，为后续建立系统模型进行铺垫。
+卫星通信系统中，系统的通信质量与信道容量等主要由卫星链路的传播特性决定，本部分将介绍星地链路的基本传输特性与损耗特性，为后续建立系统模型进行铺垫。
 \subsubsection{路径损耗}
 
 卫星通信与用户终端之间存在多种不同衰减的影响，使用分贝形式可以表达为

chap/chap3.tex

@@ -237,7 +237,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
 \begin{figure}[hbpt]
     \centering
     \includegraphics[width=0.75\textwidth]{chap/figures/multileo.png}
-    \caption{多波束地轨卫星通信系统场景}
+    \caption{多波束低轨卫星通信系统场景}
     \label{fig:leonet}
 \end{figure}
 \begin{figure}[hbpt]
@@ -412,6 +412,7 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
     \mathcal{O}(\sum_{i=1}^{N_{conv}} M_i^2\cdot K_i^2 \cdot C_{in} \cdot C_{out} + \sum_{i=1}^{N_{fc}} M_{in} \cdot M_{out})
     \label{eq:total}
 \end{equation}
+本算法复杂度相较于NP困难问题，已经能够得到收敛的表达式公式。
 
 \subsubsection{算法收敛性能分析}
 
@@ -508,7 +509,6 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
         \caption{频谱效率随$\mu$变化情况}
         \label{fig:subfigurelowmuse}
     \end{subfigure}
-    \includegraphics[width=0.7\textwidth]{chap/figures/lamb_90.png}
     \caption{高业务量场景下系统的表现情况}
     \label{fig:lamb90}
 \end{figure}

chap/chap4.tex

@@ -6,7 +6,7 @@
 \subsection{场景描述}
     本文考虑多波束卫星的下行链路，通过时分复用的形式，可以提供$K$个波束覆盖$N$个小区的用户（$K<N$）。在$t$时刻，波束与小区的点亮关系可以使用以下矩阵描述：
     \begin{equation}
-        \mathbf{X} = \{x_{k,n} | x_{k,n} \in {0,1},\sum_{n=1}^{N} x_{k,n}= 1\}
+        \mathbf{X} = \{x_{k,n} | x_{k,n} \in \{0,1\},\sum_{n=1}^{N} x_{k,n}= 1\}
         \label{eq:X_bh}
     \end{equation}
 

chap/chap5.tex

@@ -6,11 +6,24 @@
 
 （1）文献调研分析，总结了卫星资源分配技术的研究与应用现状，分析了目前资源分配技术的研究方向和存在的问题，为本文的研究提供了理论基础。结合现有的卫星通信系统，建立起了卫星通信系统的架构模型，分析了使用深度强化学习方法进行资源分配研究的可行性。
 
-（2）针对低轨卫星通信信道分配问题中的阻塞率指标，引入了深度强化学习，通过将系统问题转化成马尔可夫决策过程，将系统分配问题转化为了图形特征，给出了系统的频率、功率等分配的限制与策略。仿真结果表明，与传统的按需分配相比，基于深度强化学习的策略能够有效提高系统的频谱效率和用户的通信质量。
+% 本文通过引入深度强化学习的思想，将低轨卫星通信信道分配场景转化为了马尔可夫决策过程，在
+（2）针对低轨卫星通信系统信道分配问题，本文分析了低轨卫星通信场景下动态信道分配场景，引入深度强化学习思想，将低轨卫星通信场景下的动态信道分配问题转化为了马尔可夫决策过程，给出了算法的详细设计。通过仿真结果表明深度强化学习在低轨卫星通信中的有效性，同时与固定分配方法相比，该算法可以有效提高系统的频谱效率和通信质量。
 
-（3）针对卫星通信跳波束资源分配问题中动作空间过大、吞吐量需求与公平性无法兼顾的问题，改进实现了一种多目标双智能体跳波束与信道联合分配方法，该方法结合了多目标优化与多智能体合作训练的方法，在复杂度与目标指标优化之间实现了兼顾。仿真结果表明，该方法相比随机算法、周期调度、贪心调度等能够有效提高系统的吞吐量，同时在一定程度上保证系统的公平性。同时与启发式搜索 相比，具有系统决策复杂度低，训练完成后无需根据环境变化重新构建等特点，相比遗传算法在吞吐量和公平性方面相差不大的情况下能够大大减少系统的决策时间，达到可用的程度。
+% 针对低轨卫星通信信道分配问题中的阻塞率指标，引入了深度强化学习，通过将系统问题转化成马尔可夫决策过程，将系统分配问题转化为了图形特征，给出了系统的频率、功率等分配的限制与策略。仿真结果表明，与传统的按需分配相比，基于深度强化学习的策略能够有效提高系统的频谱效率和用户的通信质量。
+
+% （3）针对卫星通信跳波束资源分配问题中动作空间过大、吞吐量需求与公平性无法兼顾的问题，改进实现了一种多目标双智能体跳波束与信道联合分配方法，该方法结合了多目标优化与多智能体合作训练的方法，在复杂度与目标指标优化之间实现了兼顾。仿真结果表明，该方法相比随机算法、周期调度、贪心调度等能够有效提高系统的吞吐量，同时在一定程度上保证系统的公平性。同时与启发式搜索 相比，具有系统决策复杂度低，训练完成后无需根据环境变化重新构建等特点，相比遗传算法在吞吐量和公平性方面相差不大的情况下能够大大减少系统的决策时间，达到可用的程度。
+
+（3）针对卫星通信波束资源分配问题，本文分析了跳波束问题中动作空间过大、吞吐量需求与公平性矛盾的问题，引入深度强化学习的思想，设计实现了基于深度强化学习的多目标多智能体波束与信道联合分配算法，该算法结合多目标优化与多智能体合作训练的方法。仿真结果表明，该算法相比随机算法、周期调度算法、最大流量算法等，能够实现更大的吞吐量。在吞吐量和公平性与能够得到近似最优解的遗传算法相近，而决策时间开销仅有遗传算法的0.3\%，验证了深度强化学习方法在跳波束问题中的有效性。
 
 
 \section{未来展望}
 
-动态资源管理技术作为卫星通信系统的关键技术，具有重要性意义。目前，深度强化学习在卫星通信系统中没有得到广泛应用的主要原因有：卫星通信系统的动作空间复杂，随着卫星系统容量的增加、计算复杂度增加，强化学习的实时性无法得到保证；其次是深度强化学习方法在空间通信系统中面临着数据环境复杂，噪声误差等存在偏差与仿真环境差异大等问题。面对以上问题，多智能体强化学习、知识蒸馏、网络参数量化等方法值得进一步研究以用于减少深度强化学习的空间复杂。通过迁移学习和仿真环境相结合的训练机制，也能够降低系统数据的偏差。
+% 动态资源管理技术作为卫星通信系统的关键技术，具有重要性意义。目前，深度强化学习在卫星通信系统中没有得到广泛应用的主要原因有：卫星通信系统的动作空间复杂，随着卫星系统容量的增加、计算复杂度增加，强化学习的实时性无法得到保证；其次是深度强化学习方法在空间通信系统中面临着数据环境复杂，噪声误差等存在偏差与仿真环境差异大等问题。面对以上问题，多智能体强化学习、知识蒸馏、网络参数量化等方法值得进一步研究以用于减少深度强化学习的空间复杂。通过迁移学习和仿真环境相结合的训练机制，也能够降低系统数据的偏差。
+
+目前深度强化学习在卫星通信的资源分配研究中仍处于前沿探索与研究阶段，深度强化学习方法优势在于序列决策问题中的长期收益优化，主要限制深度强化学习投入应用的问题有以下几点：
+
+首先，深度强化学习算法在高维动作或连续动作时存在收敛不稳定的问题，本文研究中解决高维动作问题采用了降低维度、缩小规模的形式处理。面对多资源联合分配问题，可能的解决方案是采用多层次的强化学习方法，通过不同的领域进行逻辑上的分层处理，降低问题的动作维度，这一方法需要进一步深入的研究。
+
+其次，本文以及相关研究主要关注深度强化学习方法对系统性能的优化，没有充分考虑在星上功率与计算资源有限的情况下算法本身的计算开销、能量需求和额外的通信代价等，这些问题也需要在此后的研究中进一步讨论。
+
+第三，现有的经典深度强化学习方法面临着学习效率较低的问题，需要数万训练样本才能实现有效的收敛，对每个具体问题都需要重新训练算法。针对这一问题，可以通过迁移学习的方式，实现跨场景的智能体训练，通过少量数据快速学习，迁移学习在强化学习理论的研究中是一个热门领域，在卫星资源分配中迁移学习和深度强化学习还需要更多的分析与研究。

thesis.tex

@@ -28,6 +28,7 @@
 \usepackage{siunitx}
 \usepackage{algorithm}
 \usepackage{algorithmic}
+\usepackage{pdfpages}
 \sisetup{per-mode=symbol}
 
 % 对于 linespread 值的计算过程有兴趣的同学可以参考 pkuthss.cls。
@@ -121,7 +122,9 @@
 	\ifblind\makeblind\else\maketitle\fi
 	% 版权声明。封面要求单面打印，故须新开右页。
 	\cleardoublepage
-	\include{chap/copy}
+	% \include{chap/copy}
+	\includepdf{bq.pdf}
+	% \includepdf{chap/bqsm.pdf}
 
 	% 此后到下一 \pagestyle 命令之前正常排版页眉和页脚。
 	\cleardoublepage
@@ -156,7 +159,15 @@
 	% 致谢。
 	\ifblind\else\include{chap/ack}\fi
 	% 原创性声明和使用授权说明。
-	\include{chap/origin}
+	% \include{chap/origin}	w
+
+	\fancypagestyle{specialstyle}{
+  \fancyhf{} % 清空页眉页脚
+  \renewcommand{\headrulewidth}{0pt} % 去掉页眉下的横线
+  \renewcommand{\footrulewidth}{0pt} % 去掉页脚上的横线
+}
+	\includepdf[pagecommand={\chapter*{}\thispagestyle{specialstyle}\addcontentsline{toc}{chapter}{北京大学学位论文原创性声明和使用授权说明}}]{chap/origin.pdf}
+	\includepdf{chap/zzlw.pdf}
 \end{document}
 
 % vim:ts=4:sw=4