v1.0withoutAck

chap/abs.tex

@@ -2,11 +2,27 @@
 % Public domain.
 
 \begin{cabstract}
-	\pkuthssffaq % 中文测试文字。
+	近些年随着卫星互联网、手机直连卫星以及第六代无线通信技术的发展，卫星通信的需求有了巨大的发展。目前，卫星多采用多波束以及频率复用等技术来应对巨大的通信需求
+	但受限于功率、频率等资源，卫星通信系统的资源分配问题变得愈发复杂。除此之外，卫星通信的业务存在着空间分布和时间分布不均匀，服务质量要求多样等特点，这要求寻找到一种有效的动态资源分配算法，提升卫星通信系统整体的资源利用率。
+
+	本文针对卫星通信系统中资源分配进行了研究，主要针对两个方面的问题，一个是考虑时空关联性的动态信道分配问题，另一个考虑卫星跳波束的动态规划问题。本文在研究方法主要与目前广受关注的深度强化学习技术相结合，在信道分配问题上利用神经网络发掘时空关联性，在跳波束问题上利用多智能体等技术解决跳波束问题信道与波束点亮联合分配的问题。
+
+	首先，本文概述了多波束卫星通信系统的基本架构、卫星的信道传输特性以及马尔科夫决策过程和强化学习等技术的基本知识。然后，建立起基于深度强化学习的信道分配问题的基本场景与用户通信模型。为了保证用户质量通信质量，设计一用户通信的阻塞率作为优化目标，设计了基于深度强化学习的动态信道分配算法。该算法以将用户的地理位置通过状态转换使用多通道的图片描述。通过基于卷积神经网络和深度Q网络的求解得到实时的信道分配策略。仿真结果表明，基于深度强化学习的信道分配算法相比其他算法，能够有效保证系统的接通率，提高频谱效率。
+	
+	最后，针对跳波束问题，本文概述了跳波束卫星通信系统的前向链路模型，以优化通信吞吐量和时延的公平性为优化目标函数，建立起基于深度强化学习的跳波束与信道联合分配算法。该算法包含两个独立的深度Q网络，分别对波束点亮方案和信道分配方式进行优化，通过多头输出的方式解决跳波束分配问题中空间复杂度过高的问题。仿真结果表明，与传统算法相比，该方法能有效提高系统的吞吐量，并且能够保证系统的时延公平性，同时相比遗传算法等启发式算法能够有效减少系统的决策时间，能够应对动态变化的系统环境。
 \end{cabstract}
 
 \ifblind\begin{beabstract}\else\begin{eabstract}\fi
-	Test of the English abstract.
+	
+In recent years, with the development of satellite internet, direct satellite connections for mobile phones, and sixth-generation wireless communication technologies, the demand for satellite communication has experienced significant growth. Currently, satellites often employ multiple techniques such as multi-beam and frequency reuse to meet the vast communication needs.
+
+However, limited by resources such as power and frequency, the resource allocation problem in satellite communication systems has become increasingly complex. In addition, the services in satellite communication have characteristics like uneven spatial and temporal distribution and diverse quality of service requirements. This demands an effective dynamic resource allocation algorithm to enhance the overall resource utilization of satellite communication systems.
+
+This paper focuses on the resource allocation in satellite communication systems, mainly addressing two issues: one is the dynamic channel allocation problem considering spatiotemporal correlations, and the other is the dynamic planning problem for satellite beam hopping. The study primarily combines the currently popular deep reinforcement learning techniques, using neural networks to explore spatiotemporal correlations in channel allocation and multi-agent technologies to solve the joint allocation problem of channel and beam lighting in the beam hopping issue.
+
+First, this paper outlines the basic architecture of multi-beam satellite communication systems, the channel transmission characteristics of satellites, and the fundamental knowledge of Markov decision processes and reinforcement learning. Then, it establishes the basic scenario and user communication model for the channel allocation problem based on deep reinforcement learning. To ensure the quality of user communication, the user communication blocking rate is designed as the optimization objective, and a dynamic channel allocation algorithm based on deep reinforcement learning is developed. This algorithm describes the user's geographic location through state transitions using multi-channel images. The real-time channel allocation strategy is obtained through solutions based on convolutional neural networks and deep Q networks. Simulation results show that the channel allocation algorithm based on deep reinforcement learning can effectively ensure the system's connection rate and improve spectral efficiency compared to other algorithms.
+
+Finally, for the beam hopping issue, this paper outlines the forward link model of the beam hopping satellite communication system and establishes the joint allocation algorithm for beam hopping and channels based on deep reinforcement learning, with the optimization of communication throughput and fairness of delay as the objective function. This algorithm contains two independent deep Q networks, optimizing the beam lighting scheme and channel allocation method, respectively, and solves the problem of high spatial complexity in beam hopping allocation using multi-head output. Simulation results indicate that compared to traditional algorithms, this method can effectively improve the system's throughput and ensure the fairness of system delay. Compared to heuristic algorithms like genetic algorithms, it can significantly reduce the system's decision time, enabling it to cope with dynamically changing environments.
 \ifblind\end{beabstract}\else\end{eabstract}\fi
 
 % vim:ts=4:sw=4

chap/ack.tex

@@ -2,6 +2,5 @@
 % Public domain.
 
 \chapter{致谢}
-\pkuthssffaq % 中文测试文字。
+这里是致谢
-
 % vim:ts=4:sw=4

chap/chap1.tex

@@ -8,16 +8,16 @@
     卫星通信系统是一种使用卫星作为中继的通信系统，自美国发射第一颗商用卫星后，卫星通信取得了巨大的成就，彻底改变了人类的生产和生活方式。卫星通信的发展突破了传统的移动通话与短信等业务，呈现出两大发展趋势：空天地多终端一体化网络与巨型卫星星座。
     
     第5代移动通信系统（5th gerneration mobile networks, 5G）是继4G（LTE、LTE-A、WiMAX
-    -A）系统后提出的最新一代移动通信系统，其标准化阶段已经基本完成，目标是提供高速率、低延时、低成本、大容量以及海量连接设备的端到端通信解决方案。5G的大规模商用化正在有序的推进，能够为用户提供高质量的通信服务。但是，受限于不同国家不同的基建情况、地理环境状况以及经济发展水平，截止到2023年末，仍有大量的地区无法接入5G网络甚至接入互联网，世界上仍有34亿人口仍然没有接入移动互联网，而这其中，有90\%的人口已经处于移动网络覆盖的范围内，但这些网络却无法接入移动互联网\parencite{GSMA-2024}。与此同时，以虚拟现实（Virtual Reality，VR）和增强现实（Advanced Reality，AR）为主的现实扩展服务、物联网、脑机接口等新兴的服务产生的数据需求已经远远地超过了当前5G网络所能支持的范围。而在这一背景下，卫星通信系统具有以下特点：
+    -A）系统后提出的最新一代移动通信系统，其标准化阶段已经基本完成，目标是提供高速率、低延时、低成本、大容量以及海量连接设备的端到端通信解决方案。5G的大规模商用化正在有序的推进，能够为用户提供高质量的通信服务。但是，受限于不同国家不同的基建情况、地理环境状况以及经济发展水平，截止到2023年末，仍有大量的地区无法接入5G网络甚至接入互联网，世界上仍有34亿人口仍然没有接入移动互联网，而这其中，有90\%的人口已经处于移动网络覆盖的范围内，但这些网络却无法接入移动互联网\supercite{GSMA-2024}。与此同时，以虚拟现实（Virtual Reality，VR）和增强现实（Advanced Reality，AR）为主的现实扩展服务、物联网、脑机接口等新兴的服务产生的数据需求已经远远地超过了当前5G网络所能支持的范围。而在这一背景下，卫星通信系统具有以下特点：
     \begin{itemize}
         \item 覆盖范围广，受地形影响小。通过卫星的中继，可以覆盖到全球所有地域的用户，包括一些人迹罕至、缺乏地面基础设施建设条件的区域。
         \item 组网灵活。卫星通信系统具有高度的灵活性与可调整性，卫星组网可以根据特定的应用需求和环境的变化进行配置的优化，实现多种运营模式。
         \item 较低的延迟与成本。
     \end{itemize} 
-    这些特征使得卫星通信系统成为地面移动通信系统的有力补充和扩展。在5G通信网络大规模部署的背景之下，第六代移动通信系统（6th gerneration mobile networks，6G）将视野更多地转向了卫星通信系统这一蓝海。传统的天基卫星通信系统与地面蜂窝网络系统长期各自独立发展，系统之间存在较大的胡同成本与差异。各国的相关研究机构与商业组织都曾经探索过多种形式和多种方式的手机与卫星的天地网络一体化方式\parencite{laursen2023no}，但直到2022年，苹果公司推出了能够直接使用卫星通信服务的iPhone14系列手机设备，地面移动蜂窝通信系统与天基卫星通信系统的一体化进程才取得实际上的进展。但是苹果公司使用的GLobalStar公司提供的卫星通信系统只支持紧急状态下的双向通信，不支持语音通信。2023年下半年，随着华为公司的Mate 60Pro系列的问世，我国成功
+    这些特征使得卫星通信系统成为地面移动通信系统的有力补充和扩展\supercite{bai2018multi}。在5G通信网络大规模部署的背景之下，第六代移动通信系统（6th gerneration mobile networks，6G）将视野更多地转向了卫星通信系统这一蓝海。传统的天基卫星通信系统与地面蜂窝网络系统长期各自独立发展，系统之间存在较大的互通成本与差异。各国的相关研究机构与商业组织都曾经探索过多种形式和多种方式的手机与卫星的天地网络一体化方式\supercite{laursen2023no}，但直到2022年，苹果公司推出了能够直接使用卫星通信服务的iPhone14系列手机设备，地面移动蜂窝通信系统与天基卫星通信系统的一体化进程才取得实际上的进展。但是苹果公司使用的GLobalStar公司提供的卫星通信系统只支持紧急状态下的双向通信，不支持语音通信。2023年下半年，随着华为公司的Mate 60Pro系列的问世，我国成功
     生产出全球首款同时支持卫星电话、短信与地面移动通信的大众消费级智能手机终端产品，这些都证明了手机直连卫星技术上的可行性。
 
-    卫星通信系统作为卫星通信的中继，根据与地球的距离和轨道的高低可以划分为同步轨道卫星、中轨道卫星以及地轨道卫星三种。近些年来，相较于中轨和高轨的卫星通信系统，低轨卫星通信系统由于具有延时更小、更高的速率和更轻量化与小型化的特点，逐渐成为了全球各国在卫星通信互联网与6G通信领域争夺的主要焦点（表\ref{tab:leos}）。以2016年11月15日美国SpaceX公司宣布StarLink计划的开展为标志\parencite{mcdowell2020low}，以大规模低轨卫星星座为主要载体的卫星通信互联网如雨后春笋般迅速发展起来。
+    卫星通信系统作为卫星通信的中继，根据与地球的距离和轨道的高低可以划分为同步轨道卫星、中轨道卫星以及地轨道卫星三种。近些年来，相较于中轨和高轨的卫星通信系统，低轨卫星通信系统由于具有延时更小、更高的速率和更轻量化与小型化的特点，逐渐成为了全球各国在卫星通信互联网与6G通信领域争夺的主要焦点（表\ref{tab:leos}）。以2016年11月15日美国SpaceX公司宣布StarLink计划的开展为标志\supercite{mcdowell2020low}，以大规模低轨卫星星座为主要载体的卫星通信互联网如雨后春笋般迅速发展起来。
     
     随着全球各国争夺卫星频段与轨道的竞争愈发激烈，我国也在加速低轨卫星互联网的建设布局。我国的星座建设在自2021年中国星网组建以来逐步走向了由国家统一协调、统筹频段与轨道的资源分配规划，充分发挥了我国集中力量办大事制度优越性。
 
@@ -30,21 +30,21 @@
             国家 & 星座名称 & 规划数量 & 预计建成时间 & 轨道 & 频段 \\
             \midrule
             美国 & StarLink & 11926 & 2027 & 1130km & Ku/Ka/V \\
-            美国 & NGSO\parencite{leyva2022ngso}  & 2956 &  - & 1200km & V \\
+            美国 & NGSO\supercite{leyva2022ngso}  & 2956 &  - & 1200km & V \\
-            美国 & Kuiper\parencite{osoro2021techno} & 3236 & - & 590-530km & Ka \\
+            美国 & Kuiper\supercite{osoro2021techno} & 3236 & - & 590-530km & Ka \\
-            英国 & OneWeb\parencite{henri2020oneweb} & 1280 & 2029 & 1200km & Ku/Ka \\
+            英国 & OneWeb\supercite{henri2020oneweb} & 1280 & 2029 & 1200km & Ku/Ka \\
-            加拿大 & LightSpeed\parencite{jansson2022telesat} & 298 & - & 1248km & Ka \\
+            加拿大 & LightSpeed\supercite{jansson2022telesat} & 298 & - & 1248km & Ka \\
             \bottomrule
         \end{tabular}
     \end{table}
 
-    尽管卫星通信网络的不受地形限制，并且具有较低的成本和广阔的地域覆盖能力，但是考虑到卫星通信的较长的链路距离、较大的传播时延以及星上资源的有限性等问题，当前的卫星通信仍具有很大的挑战。现有的卫星通信系统为了兼顾广阔的覆盖范围与较高的卫星天线增益，通常采用多波束卫星的技术。多波束卫星系统的通过频率复用的形式提高系统的带宽容量，提升频谱的利用率。但多波束卫星的使用与频率复用的机制带来了波束之间的同频干扰（Co-Channel Interference，CCI）等影响。在这样的背景下，以如何有效的针对用户需求进行星上资源的分配与调控，为用户实现即时可靠的数据通信服务具有重要的理论意义与现实意义。传统的卫星通信系统在考虑同频干扰情况下，多波束卫星的资源分配是一个NP-Hard（non-deterministic polynomial-time hardness，非确定性多项式时间困难\parencite{garey1974some}）问题\parencite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}，这表明解决卫星资源分配问题难以在一个限定的多项式时间内稳定找到最优解，解决这一问题的时间消耗较大，寻找到某种较低复杂度的算法实现星上资源分配的优化是一个亟待解决的问题。
+    尽管卫星通信网络的不受地形限制，并且具有较低的成本和广阔的地域覆盖能力，但是考虑到卫星通信的较长的链路距离、较大的传播时延以及星上资源的有限性等问题，当前的卫星通信仍具有很大的挑战。现有的卫星通信系统为了兼顾广阔的覆盖范围与较高的卫星天线增益，通常采用多波束卫星的技术。多波束卫星系统的通过频率复用的形式提高系统的带宽容量，提升频谱的利用率\supercite{jia2018interbeam}。但多波束卫星的使用与频率复用的机制带来了波束之间的同频干扰（Co-Channel Interference\supercite{yang2003co}，CCI）等影响。在这样的背景下，以如何有效的针对用户需求进行星上资源的分配与调控，为用户实现即时可靠的数据通信服务具有重要的理论意义与现实意义。传统的卫星通信系统在考虑同频干扰情况下，多波束卫星的资源分配是一个NP-Hard（non-deterministic polynomial-time hardness，非确定性多项式时间困难\supercite{garey1974some}）问题\supercite{阚茜2016衰落信道下波束卫星系统功率分配策略研究}，这表明解决卫星资源分配问题难以在一个限定的多项式时间内稳定找到最优解，解决这一问题的时间消耗较大，寻找到某种较低复杂度的算法实现星上资源分配的优化是一个亟待解决的问题。
 
     % 近年来，伴随着AlphaGo、ChatGPT等人工智能应用的出现，为解决这一问题提供了一条可行的路线。人工智能技术通过利用计算机技术的形式模拟人类的某些智能行为和过程，例如学习、推理等。随着强化学习技术在以ChatGPT为代表的生成式人工智能大模型中被广泛应用，掀起了新一代人工智能技术的新浪潮。强化学习（Reinforcement Learing, RL）是机器学习中除了监督学习和非监督学习之外的另一种基本机器学习方式，强化学习不需要预先做好标签的输入与输出对，其主要关注在对未知知识的探索和利用已有知识的平衡，是一种探索-学习-重复探索的过程，具有通过自我学习环境与过往经验提高处理问题能力的特点，在视频游戏、机器人控制、预测决策等领域有着广泛应用。
 
     近年来，随着人工智能应用如AlphaGo、ChatGPT等的出现，为解决诸多问题提供了新的思路和方法。人工智能技术通过模拟人类的智能行为和过程，如学习、推理等，利用计算机技术的手段实现了以前难以想象的任务。特别是强化学习技术在生成式人工智能大模型中的广泛应用，如ChatGPT等，引领了新一轮人工智能技术的发展浪潮。
 
-强化学习（Reinforcement Learning, RL）作为机器学习的一种基本方式，与监督学习和非监督学习相辅相成。与监督学习不同，强化学习不需要预先提供标记好的输入输出对，而是专注于在未知知识的探索和已有知识的利用之间寻找平衡。它是一种不断探索、学习和重复实践的过程，能够通过自我学习环境和过往经验来提高问题处理能力。因此，在视频游戏、机器人控制、预测决策等领域得到了广泛应用。
+强化学习（Reinforcement Learning, RL）\supercite{russell2016artificial}作为机器学习的一种基本方式，与监督学习和非监督学习相辅相成。与监督学习不同，强化学习不需要预先提供标记好的输入输出对，而是专注于在未知知识的探索和已有知识的利用之间寻找平衡。它是一种不断探索、学习和重复实践的过程，能够通过自我学习环境和过往经验来提高问题处理能力。因此，在视频游戏、机器人控制、预测决策等领域得到了广泛应用。
     \begin{figure}[hbpt]
         \centering
         \includegraphics[width=0.45\textwidth]{chap/figures/rlgame.png}
@@ -53,7 +53,7 @@
     \end{figure}
     
 
-    强化学习的技术源于行为主义心理学理论（Behaviorism Theory）中试错学习，同时与控制领域中的最优控制理论、近似动态规划（Approximate Dynamic Programming，ADP）等合流形成\parencite{kaelbling1996reinforcement}\parencite{russell2016artificial}\parencite{sutton2018reinforcement}。试错学习的思想就是动物或其他智能体通过反复的过程完成学习，动物出于某种动机采取一定的行动，在采取行动后能够得到某种刺激，刺激与实现动机的行动之间产生映射关系，正面的刺激会强化采取该行为的期望，而负面的刺激会削弱采取行为的期望，为了实现动机就会重复采取行动从而实现最终的目标\parencite{morales2012introduction}。强化学习的基本思想就是模拟生物的这种为了适应环境而进行进化的过程，自主地学会如何在环境中采取行动，以获得最大的奖励。
+    强化学习的技术源于行为主义心理学理论（Behaviorism Theory）中试错学习，同时与控制领域中的最优控制理论、近似动态规划（Approximate Dynamic Programming，ADP）等合流形成\supercite{kaelbling1996reinforcement}\supercite{russell2016artificial}\supercite{sutton2018reinforcement}。试错学习的思想就是动物或其他智能体通过反复的过程完成学习，动物出于某种动机采取一定的行动，在采取行动后能够得到某种刺激，刺激与实现动机的行动之间产生映射关系，正面的刺激会强化采取该行为的期望，而负面的刺激会削弱采取行为的期望，为了实现动机就会重复采取行动从而实现最终的目标\supercite{morales2012introduction}。强化学习的基本思想就是模拟生物的这种为了适应环境而进行进化的过程，自主地学会如何在环境中采取行动，以获得最大的奖励。
 
     相较于无监督学习和有监督学习，强化学习的方法更加灵活。在无监督学习和有监督学习中，解决问题需要明确定义问题和解决问题的模式。而在强化学习中，更多地关注确定可以采取的行动，而不需要明确规定如何执行这些行动。通过不断地尝试和错误，强化学习系统可以自主学习并逐步优化其行动策略，最终达到最优解。
 
@@ -66,14 +66,36 @@
 
     % 这里应该有固定分配算法的东西
 
-    相比于传统固定分配算法，注重频谱和能量效率的资源分配策略一直是卫星通信系统以及地面卫星通信系统的主要研究方向，在无线通信系统中能量效率和频谱效率被视为一个多目标优化问题\parencite{7093179}。在地面通信系统中，关于多输入多输出通信系统（Multi-Input Multi-Output, MIMO）\parencite{tse2005fundamentals}中关于能量效率和频谱效率的优化关系已经有了比较全面讨论与诠释\parencite{heliot2012energy}，\parencite{xiong2011energy}对采用了正交频分复用多址（Orthogonal frequency division multiple access, OFDMA）\parencite{tse2005fundamentals}的无线通信系统两者之间的权衡进行了讨论。在卫星通信系统中，这一方面的研究更为重要，围绕着有限的功率、频谱、缓存等资源，有多种动态资源优化算法提出。
+    相比于传统固定分配算法，注重频谱和能量效率的资源分配策略一直是卫星通信系统以及地面卫星通信系统的主要研究方向，在无线通信系统中能量效率和频谱效率被视为一个多目标优化问题\supercite{7093179}。在地面通信系统中，关于多输入多输出通信系统（Multi-Input Multi-Output, MIMO）\supercite{tse2005fundamentals}中关于能量效率和频谱效率的优化关系已经有了比较全面讨论与诠释\supercite{heliot2012energy}，\supercite{xiong2011energy}对采用了正交频分复用多址（Orthogonal frequency division multiple access, OFDMA）\supercite{tse2005fundamentals}的无线通信系统两者之间的权衡进行了讨论。在卫星通信系统中，这一方面的研究更为重要，围绕着有限的功率、频谱、缓存等资源，有多种动态资源优化算法提出。
 
-    在不考虑共频干扰时使用拉格朗日乘数法（）可以很好地实现基于的波束上流量需求进行动态功率的分配算法\parencite{choi2005optimum}。考虑CCI之后，解决资源分配优化问题经常使用的例如拉格朗日对偶法等求解困难，\parencite{wang2014optimization}尝试在使用拉格朗日对偶法解决引入CCI的多波束卫星系统功率分配问题，求解效率低下，而且随着波束数目的增加，无法获得确切的求解表达式。随后，为了降低算法复杂度，遗传算法（Genetic Algorithm, GA）、模拟退火（Simulated Annealing, SA）等启发式搜索算法被应用到多波束卫星系统的功率分配中。这些算法一定程度上实现了最大化系统容量和最小化系统功率之间的权衡。
+    在不考虑共频干扰时使用拉格朗日乘数法可以很好地实现基于的波束上流量需求进行动态功率的分配算法\supercite{choi2005optimum}。考虑CCI之后，解决资源分配优化问题经常使用的例如拉格朗日对偶法等求解困难，\supercite{wang2014optimization}尝试在使用拉格朗日对偶法解决引入CCI的多波束卫星系统功率分配问题，求解效率低下，而且随着波束数目的增加，无法获得确切的求解表达式。随后，为了降低算法复杂度，遗传算法（Genetic Algorithm, GA）、模拟退火（Simulated Annealing, SA）等启发式搜索算法被应用到多波束卫星系统的功率分配中。这些算法一定程度上实现了最大化系统容量和最小化系统功率之间的权衡。
         
-    卫星的载荷资源主要是通过分配星上的发射功率资源以及的分配频率资源，而频率资源分配又可以进一步细分为时分复用的时隙分配和频分复用的信道资源分配。多波束卫星系统中最传统的资源分配算法是固定资源分配，各个波束和小区得到的资源分配是较为固定的，通过四色复用、七色复用等形式，实现波束之间的固定信道分配，但是随着低轨卫星系统的发展，多波束系统的波束覆盖随着时间的变化会有较大的流量波动，不同波束之间流量需求差异大、变化快，固定信道分配方式无法适应当前卫星通信发展的新趋势。动态信道分配技术能够允许系统的各个波束任意、灵活地选择系统的可用信道，通过改变载波等的分配，灵活匹配了来自各个小区的通信需求，提高整个系统的性能。基于特定设计的两个代价函数，文献\parencite{del1995efficient}提出了一种动态信道分配算法，这一算法相比固定信道分配算法有效提高了系统的接通率，但是存在着业务场景缺少动态变化并且算法的计算复杂度仍然较高的问题，与当前快速发展的大规模低轨卫星星座系统不适应。随着系统波束数目的增加，传统的动态信道分配算法也陷入了算法复杂度高的问题，为了应对这些挑战，\parencite{umehira2012centralized}提出了复杂度较低的算法方法，这些都在追求系统频谱效率与用户公平性的统一。
+    卫星的载荷资源主要是通过分配星上的发射功率资源以及的分配频率资源，而频率资源分配又可以进一步细分为时分复用的时隙分配和频分复用的信道资源分配。多波束卫星系统中最传统的资源分配算法是固定资源分配，各个波束和小区得到的资源分配是较为固定的，通过四色复用、七色复用等形式，实现波束之间的固定信道分配，但是随着低轨卫星系统的发展，多波束系统的波束覆盖随着时间的变化会有较大的流量波动，不同波束之间流量需求差异大、变化快，固定信道分配方式无法适应当前卫星通信发展的新趋势。动态信道分配技术能够允许系统的各个波束任意、灵活地选择系统的可用信道，通过改变载波等的分配，灵活匹配了来自各个小区的通信需求，提高整个系统的性能。基于特定设计的两个代价函数，文献\supercite{del1995efficient}提出了一种动态信道分配算法，这一算法相比固定信道分配算法有效提高了系统的接通率，但是存在着业务场景缺少动态变化并且算法的计算复杂度仍然较高的问题，与当前快速发展的大规模低轨卫星星座系统不适应。随着系统波束数目的增加，传统的动态信道分配算法也陷入了算法复杂度高的问题，为了应对这些挑战，\supercite{umehira2012centralized}提出了复杂度较低的算法方法，这些都在追求系统频谱效率与用户公平性的统一。
+
+    近些年来，“跳波束（动态波束跳跃，Dynamic Beam Hopping）”技术的提出也是动态资源分配的研究范围之一。通过时分复用的思想，将系统的时间划分为多个不同时隙，每个时隙都有一部分小区被点亮提供数据传输服务，跳波束的本质是根据时变的流量需求在地理空间分布上的变化动态地调整服务的区域，传统的方法存在两点不足之处\supercite{唐斯琪2023深度强化学习在天基信息网络中的应用}：解空间会随着波束数量的上升以阶乘的方式的增长；流量需求分布发生变化时，需要重新建模迭代求解。文献\supercite{liu2013max}提出了流量最大最小速率控制调度法，但该问题只能实现单目标的优化无法保证不同波束之间的业务公平性。文献\supercite{han2015qos}使用长期时延统计的方法进行波束调度，能够在满足吞吐量的同时兼顾部分公平性问题。文献\supercite{angeletti2006beam}提出了使用遗传算法指定波束调度计划的方式，但是每次决策都需要重新迭代在面对实时流量需求力不从心。
 
     
-    人工智能技术的发展引起了大家的广泛关注，人工智能和机器学习等已经在多个不同的研究领域内被证明是解决复杂问题的有效方法。脱胎于强化学习方法的深度强化学习（Deep Reinforcement Learning，DRL）在解决通信系统资源分配问题上已经获得理论与实践上的支持，例如无线蜂窝通信系统的资源分配等。基于DRL方法的卫星系统资源优化问题中也有了一定的应用，这种线下训练、线上部署运行的无模型方法在许多问题上证明了其有效性。文献\parencite{liu2018deep}提出了将DRL技术应用到卫星资源分配领域的基本框架，通过将地面用户的业务需求转换为张量的形式建立起同步轨道卫星多波束卫星资源分配基本思路。文献\parencite{}提出了使用连续的状态空间与动作空间的DRL学习架构避免了需求的离散化。现有使用DRL进行动态资源管理的方法多聚焦于同步轨道卫星资源的动态分配，对于低轨卫星而言其具有较高的运动速度，资源状况与同步轨道卫星资源差距较大。
+    人工智能技术的发展引起了大家的广泛关注，人工智能和机器学习等已经在多个不同的研究领域内被证明是解决复杂问题的有效方法。脱胎于强化学习方法的深度强化学习（Deep Reinforcement Learning，DRL）在解决通信系统资源分配问题上已经获得理论与实践上的支持，例如无线蜂窝通信系统的资源分配等。基于DRL方法的卫星系统资源优化问题中也有了一定的应用，这种线下训练、线上部署运行的无模型方法在许多问题上证明了其有效性。表\ref{tab:drlresearch}给出了目前的研究中将卫星通信与深度强化学习相结合的部分研究领域。文献\parencite{liu2018deep}提出了将DRL技术应用到卫星资源分配领域的基本框架，通过将地面用户的业务需求转换为张量的形式建立起同步轨道卫星多波束卫星资源分配基本思路。文献\parencite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}使用多目标优化的方式进行功率、信道等的分配，文献\parencite{luis2019deep}提出了使用连续的状态空间与动作空间的DRL学习架构避免了需求的离散化。现有使用DRL进行动态资源管理的方法多聚焦于同步轨道卫星资源的动态分配，对于低轨卫星而言其具有较高的运动速度，资源状况与同步轨道卫星资源差距较大。在跳波束问题上，文献\parencite{hu2020dynamic}提出了使用DRL解决跳波束决策的问题，为了解决算法空间维度较高的问题，文章给出了双环多步骤决策方法，但是该方法由于增加了多重决策步骤，实时决策时间表现差。\parencite{lin2022dynamic}使用了多智能体独立决策、限制信道分配的方式简化了动作空间，提高了决策效率，但是多智能体会占用更多的资源进行决策，也使得动作容易陷入局部最优解的状况。
+
+    \begin{table}
+        \centering
+        \caption{基于深度强化学习卫星通信问题研究总结\supercite{唐斯琪2023深度强化学习在天基信息网络中的应用}}
+        \label{tab:drlresearch}
+        \begin{tabularx}{0.75\textwidth}{XXX}
+            
+            \toprule
+            领域 & 优化目标 & 效果收益 \\
+
+            \midrule
+            频谱资源分配 & 时隙、信道、带宽、功率等 & 较高，能有效提高频谱利用率和资源利用率 \\
+            跳波束 & 波束点亮方案 & 较高，能有效解决流量空间分布不均匀问题 \\
+            路由网络选择 & 低轨卫星下一跳选择 & 较低，主要作用是降低时延，提高吞吐量，但实时性要求高，时间成本太大 \\
+            拥塞控制 & 网络拥塞控制 & 收益较高，问题简单直接\\
+            卫星切换 & 低轨卫星网络中的卫星切换选择 & 意义有限，只适用于超大规模星座\supercite{9210133} \\
+            \bottomrule
+        \end{tabularx}
+    \end{table}
+    
 
 
     综上所述，国内外已经有了众多关于多波束卫星动态资源的研究，从研究路径上看，从传统的拉格朗日对偶法，到经典的遗传算法等启发式搜索算法，再到人工智能领域的算法，但现有基于人工智能的算法仍然存在着一些不适应问题，值得有待深一步的研究。
@@ -84,9 +106,11 @@
 \section{论文的研究内容与组织架构}
 
 \subsection{主要研究内容}
-本文结合新一代卫星系统的背景，主要分析和研究了地轨卫星通信系统中动态资源管理问题，从可行性、所面临的挑战等方面出发，借助相关理论和一定的工具建立了相关的模型。
+本文结合新一代卫星系统的背景，主要分析和研究了地星通信系统中动态资源管理问题，从可行性、所面临的挑战等方面出发，借助相关理论和一定的工具建立了相关的模型。
 
-针对低轨卫星资源受限问题，提出了一种基于的深度Q网络的算法，该算法基于强化学习的框架，结合了深度学习与强化学习优势，建立起优化模型，以系统的阻塞率、吞吐量、能量效率作为优化目标，为了用户分配信道。
+针对低轨卫星资源受限问题，提出了一种基于的深度Q网络的算法，该算法基于强化学习的框架，结合了深度学习与强化学习优势，建立起优化模型，以系统的阻塞率作为优化目标，为了用户分配信道。
+
+针对卫星跳波束问题，提出了一种基于多智能体深度Q网络的算法，基于强化学习框架，结合多智能体与单智能体强化学习的优势，在算法复杂度和效果之间取得了平衡。
 \subsection{论文组织架构}
 本文分为五个章节，各章安排如下：
 
@@ -96,10 +120,9 @@
 
 第二章为多波束卫星系统以及强化学技术的相关介绍。首先是对多波束卫星通信系统进行了介绍，主要介绍了卫星通信系统的架构、多波束天线、卫星的链路损耗与链路特征、波束间频率复用技术，为之后的系统模型建立理论基础。其次，本章介绍了启发式算法和强化学习的基本原理、概念和特征，对本文中使用的强化学习方法进具体的介绍和分析。
 
-第三章是基于深度强化学习的低轨卫星资源分配算法，为本文研究的主要内容。首先主要介绍了本文所提出的算法的基本应用场景，并对用户的业务需求场景、卫星的信道分配问题进行了详细的介绍和分析建模。以此为基础，详细介绍了本文提出的算法实现细节，包括算法的状态空间、动作空间、奖励函数等级制。
+第三章是基于深度强化学习的低轨卫星信道分配算法。首先主要介绍了本文所提出的算法的基本应用场景，并对用户的业务需求场景、卫星的信道分配问题进行了详细的介绍和分析建模。以此为基础，详细介绍了提出的算法实现细节，包括算法的状态空间、动作空间、奖励函数等机制。
-
-第四章主要是
 
+第四章是基于深度强化学习的跳波束与信道联合分配算法。首先介绍了跳波束技术的基本原理，给出了算法的适应场景，详细设计细节与仿真环境，最后给出了仿真实验结果分析。
 
 第五章是总结与展望。对本文所做工作从方法原理和效果上都进行了一定的总结，指出了本文方法的优势与缺点，对下一步工作进行了展望与分析。
 % vim:ts=4:sw=4

chap/chap2.tex

@@ -3,12 +3,12 @@
 
 \chapter{多波束卫星系统概述}% 中文测试文字。
 \section{引言}
-多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及能够满足越来越大的系统容量需求等特点，正在受到更加广泛的关注和研究。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国在民用手机直连卫星领域广泛发展的天通系统，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quatinty of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值。
+多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及能够满足越来越大的系统容量需求等特点，正在受到更加广泛的关注和研究\supercite{甘仲民2006卫星通信技术的新发展}。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国在民用手机直连卫星领域广泛发展的天通系统，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quatinty of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。
 
 基于多波束卫星的资源分配问题，本章将介绍多波束卫星通信系统的基础知识背景，首先将简要地介绍多波束卫星系统的基本构成，对多波束卫星系统常用的技术进行整理归纳；之后，本文将讨论卫星通信系统中必不可少的空间传输特性；最后，本章将对本文中使用到的序列决策模型和深度学习技术进行介绍。
 \section{多波束卫星系统主要结构}
 \subsection{基本组成}
-卫星通信系统是指通过人造卫星作为中继站对信号进行转发实现地面与地面、地面与空间等多种不同设备终端通信传输的系统。卫星通信系统主要组成包括空间段、用户段、地面段，如图\ref{fig:leo}所示。空间段主要是指在轨卫星以及其组成的星座。地面段部分主要是由信关站和控制中心组成，信关站主要用于实现对卫星的跟踪、遥控，提供对卫星的管理控制以保证卫星的在轨正常运行。用户段是用户使用卫星进行通信的终端的集合，包括手持卫星终端（如卫星电话、支持卫星通话的手机等）、固定终端（如StarLink网络中使用的用于接收卫星信号的终端等）、机动终端（如车载卫星终端、能够提供空中卫星上网服务的飞机等）。卫星与用户终端的通信链路是用户链路（User Link），根据数据传输方向又可以分为上行链路与下行链路。卫星与地面信关站之间通过馈电链路（Feed Link）进行通信，而卫星星座之间的卫星间通信通过星间链路（Inner-Satellite Link）进行。
+卫星通信系统是指通过人造卫星作为中继站对信号进行转发实现地面与地面、地面与空间等多种不同设备终端通信传输的系统\supercite{ilvcev2017global}。卫星通信系统主要组成包括空间段、用户段、地面段，如图\ref{fig:leo}所示。空间段主要是指在轨卫星以及其组成的星座。地面段部分主要是由信关站和控制中心组成，信关站主要用于实现对卫星的跟踪、遥控，提供对卫星的管理控制以保证卫星的在轨正常运行。用户段是用户使用卫星进行通信的终端的集合，包括手持卫星终端（如卫星电话、支持卫星通话的手机等）、固定终端（如StarLink网络中使用的用于接收卫星信号的终端等）、机动终端（如车载卫星终端、能够提供空中卫星上网服务的飞机等）。卫星与用户终端的通信链路是用户链路（User Link），根据数据传输方向又可以分为上行链路与下行链路。卫星与地面信关站之间通过馈电链路（Feed Link）进行通信，而卫星星座之间的卫星间通信通过星间链路（Inner-Satellite Link）进行\supercite{ilvcev2017global}。
 
 \begin{figure}[hbpt]
     \centering
@@ -20,7 +20,7 @@
 \subsection{波束与频率复用}
     
 
-    如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出地面蜂窝通信系统类似的蜂窝状结构。根据公式\ref{eq:gain_alpha},波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡等特征。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。
+    如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出地面蜂窝通信系统类似的蜂窝状结构\supercite{刘刚2004卫星蜂窝通信系统中的点波束设计}。根据公式\ref{eq:gain_alpha},波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡等特征。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。而跳波束卫星则搭载了跳波束控制器，将数据流分发给地面上不同的波位实现通信\supercite{etsi2005digital}。
 
     
 
@@ -31,7 +31,7 @@
     \label{fig:starlinkrange}
 \end{figure}
 
-    波束频率间复用技术（frequency reuse, FR）就是将可以的带宽分多个不同的子波段，每一个波段可以在波束内进行复用，频率复用通过$N$色复用的形式描述，即将信道资源以均等的形式分配为多个分组，这样同一信道的就可以在多个不同小区的波束之间进行复用，从而提升频率效率和容量。图\ref{fig:fourcolor}展示了一个四色复用的例子，使用$N$色复用的情况下，波束的宽度设置为$\theta_b$，那么波束最小距离$\theta_c$ 为:
+    波束频率间复用技术\supercite{kreutel1977antenna}（frequency reuse, FR）就是将可以的带宽分多个不同的子波段，每一个波段可以在波束内进行复用，频率复用通过$N$色复用的形式描述，即将信道资源以均等的形式分配为多个分组，这样同一信道的就可以在多个不同小区的波束之间进行复用，从而提升频率效率和容量。图\ref{fig:fourcolor}展示了一个四色复用的例子，使用$N$色复用的情况下，波束的宽度设置为$\theta_b$，那么波束最小距离$\theta_c$ 为:
     \begin{equation}
         \theta_c = \frac{\theta_b\sqrt{3N}}{2}
         \label{eq:minbw}
@@ -55,6 +55,20 @@
         \label{fig:freqency_efficient}
     \end{figure}
 
+\subsection{跳波束模型}
+
+跳波束的模型可以使用图\ref{fig:bhh}所描述，通过时隙窗口的分配结果决定各个波束在哪些时隙内工作以及各个时隙内哪些波束同时工作\supercite{panthi2017beam}。
+
+\begin{figure}[hbpt]
+    \begin{small}
+        \begin{center}
+            \includegraphics[width=0.95\textwidth]{chap/figures/bhbh.png}
+        \end{center}
+        \caption{跳波束模型示意图}
+        \label{fig:bhh}
+    \end{small}
+\end{figure}
+
 % \subsection{gvdc gcdu 工作频段}
 %     卫星通信系统的工作频段由国际电信联盟（International Telecommunication Union， ITU）进行统一协调管理，应用于卫星通信系统的主要频段有L、S、C、X、Ku、K、Ka、V等波段。
 
@@ -110,7 +124,7 @@
             \label{fig:pb}
         \end{figure}
         
-    天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的共频干扰。ITU给出了各种多波束天线的旁瓣辐射特征\parencite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了四部分(\ref{fig:pb})，用公式表示为：
+    天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的共频干扰。ITU给出了各种多波束天线的旁瓣辐射特征\supercite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了四部分(\ref{fig:pb})，用公式表示为：
 
     \begin{equation}
         G(\alpha) = \begin{cases}
@@ -151,7 +165,7 @@
 
 其中$L_f$ 代表自由空间传播损耗，$L_g$ 代表大气吸收损耗，$L_r$ 雨衰。
 \begin{enumerate}[label=(\arabic*)]
-    \item 自由空间传播损耗：电磁波在星地之间进行传播时，信号能量将会随着距离的增加而进行扩散，由此会产生的传播损耗被称为自由空间传播损耗\parencite{ziyoukongjian}。自由空间传播损耗是最基本的传播损失，由于自由空间的传播损失，用户终端接收到的信号功率仅占发射功率极小部分。自由空间的传输损耗与传播距离的平方成正比，与载波波长成反比，由此定义自由空间传播损耗$L_f$为
+    \item 自由空间传播损耗：电磁波在星地之间进行传播时，信号能量将会随着距离的增加而进行扩散，由此会产生的传播损耗被称为自由空间传播损耗\supercite{ilvcev2017global}。自由空间传播损耗是最基本的传播损失，由于自由空间的传播损失，用户终端接收到的信号功率仅占发射功率极小部分。自由空间的传输损耗与传播距离的平方成正比，与载波波长成反比，由此定义自由空间传播损耗$L_f$为
 
     \begin{equation}
         L_f = (\frac{4\pi d}{\lambda})^2 = (\frac{4\pi d f}{c})^2
@@ -174,7 +188,7 @@
         L_r =   \gamma_r L _E   
         \label{eq:Lr}
     \end{equation}
-    $\gamma_r$代表一年内$0.01\%$时间中的降雨概率决定的衰减因子，$L_E$代表有效长度\parencite{series2015propagation}。
+    $\gamma_r$代表一年内$0.01\%$时间中的降雨概率决定的衰减因子，$L_E$代表有效长度\supercite{series2015propagation}。
 \end{enumerate}
 
 \subsubsection{系统噪声}
@@ -218,10 +232,10 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
 
 \section{优化问题建模}
 
-在一定时间序列内对卫星资源进行分配可以视为是序列决策问题，是资源管理中常见的优化问题。这一问题通常被建模为马尔可夫决策过程（Markov Decision Process，MDP）\parencite{russell2016artificial}，本节主要对序列决策和MDP进行阐述。
+在一定时间序列内对卫星资源进行分配可以视为是序列决策问题，是资源管理中常见的优化问题。这一问题通常被建模为马尔可夫决策过程（Markov Decision Process，MDP）\supercite{russell2016artificial}，本节主要对序列决策和MDP进行阐述。
 \subsection{序列决策概述}\label{sec:decision}
 在控制理论中，序列决策通常涉及到在一系列离散的时间步骤里，根据当前系统状态和信息，进行一系列的决策，以达到某种优化目标。在优化问题中，序列决策的每一个步骤都会对后续决策和整体的性能产生影响，但在局部看，序列决策的结果并不一定是最优结果。例如数学、管理学和计算机科学等领域应用较多的动态规划算法（Dynamic Programming，DP），会将整体问题拆解为具有重复子问题和最优子结构的序列决策问题，通过最小化或最大化某种目标函数的形式得到整体问题的最优解。另一个常见的场景是的棋牌类比赛中，下棋的每一步都会对整个后续棋局造成影响，单步的下棋策略往往不是最优甚至某些时候是非常糟糕的策略，而整体的收益会在比赛结束后得到结果。
-通常，序列决策问题的求解有多重方法。当所有可能的状态完全已知或者问题具有固定的概率分布，可以通过编程实现有限状态机的方法进行求解。这样方法要求在软件设计阶段，程序开发人员能够遇见到所有可能的情况。但是在实际的问题中，状态空间和动作空间都具有不确定性，穷举所有状态、设计有限状态机的方法不再现实。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\parencite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）等方式，能够有效的解决序列决策问题。
+通常，序列决策问题的求解有多重方法。当所有可能的状态完全已知或者问题具有固定的概率分布，可以通过编程实现有限状态机的方法进行求解。这样方法要求在软件设计阶段，程序开发人员能够遇见到所有可能的情况。但是在实际的问题中，状态空间和动作空间都具有不确定性，穷举所有状态、设计有限状态机的方法不再现实。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\supercite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）等方式，能够有效的解决序列决策问题。
 
 \subsection{马尔科夫决策过程}
 
@@ -266,7 +280,7 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
     V^\pi (s) = \mathrm{E}^\pi [R_t|s_t=s]
     \label{eq:V}
 \end{equation}
-其中$V^\pi (s) $表示的是状态$s$在策略$\pi$下的期望奖励，根据贝尔曼期望方程\parencite{russell2016artificial}，当前状态的值函数使用当前即时奖励与下一状态的值函数进行描述：
+其中$V^\pi (s) $表示的是状态$s$在策略$\pi$下的期望奖励，根据贝尔曼期望方程\supercite{russell2016artificial}，当前状态的值函数使用当前即时奖励与下一状态的值函数进行描述：
 \begin{equation}
     \begin{aligned}
         V^\pi(s) &= \mathrm{E}^\pi[r_t + \gamma \sum_{\tau=0}^{\infty }\gamma^\tau r_{t+\tau+1}|s_t = s] \\
@@ -403,7 +417,7 @@ DRL算法作为机器学习的一种，结合了RL的序列决策能力和DL的
 \end{figure}
 
 
-深度强化学习就是通过DL来表征强化学习中的动作价值函数和策略函数，通过神经网络拟合的方式使得RL算法能够摆脱低维状态空间的限制。2013年，DeepMind公司的研究人员首次基于DNN的方法改进了RL中的Q学习算法，得到深度Q网络学习算法（DQN）\parencite{mnih2013playing}，引发了Deep RL的研究热潮。常见的DRL算法如表\ref{tab:drl}所示。
+深度强化学习就是通过DL来表征强化学习中的动作价值函数和策略函数，通过神经网络拟合的方式使得RL算法能够摆脱低维状态空间的限制。2013年，DeepMind公司的研究人员首次基于DNN的方法改进了RL中的Q学习算法，得到深度Q网络学习算法（DQN）\supercite{mnih2013playing}，引发了Deep RL的研究热潮。常见的DRL算法如表\ref{tab:drl}所示。
 
 \begin{table}[hbpt]
     \centering

chap/chap3.tex

@@ -1,7 +1,7 @@
 % Copyright (c) 2014,2016,2018 Casper Ti. Vector
 % Public domain.
 
-\chapter{基于深度强化学习的卫星资源管理研究}
+\chapter{基于深度强化学习的信道分配算法研究}
 
 \section{引言}
 为了应对下一代卫星移动通信系统高吞吐量的数据需求，卫星广泛采用了多波束卫星的架构，每个卫星携带多个波束，分别覆盖地面特定的区域，波束共同组成了单卫星的区域覆盖。由于卫星通信的用户和终端在地理空间和使用时间上分布不均匀，卫星不同波束间的通信数据量存在较大的差异，如果采用固定的频谱分配方式，即使波束内不存在用户使用资源，也会造成资源的浪费。而采用动态资源分配的方式，即所有的信道资源都可以被各个波束的用户所使用，相比固定的频谱分配方式能够拥有较高的资源利用率。关于研究如何合理地将星上资源在波束之间分配的研究越来越多，这些研究主要是针对带宽或者功率作为优化目标，本章将首先针对现有的单一资源优化分配算法的性能进行研究，根据其不足提出基于强化学习的多波束卫星资源的分配算法。
@@ -248,7 +248,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
 \end{figure}
 
 
-\subsection{Q网络的架构与计算}
+\subsection{Q网络的架构与计算}\label{sec:qwl}
 如\ref{sec:rl}介绍，RL只在找到最佳的动作选择策略，这一策略可以基于当前的状态做出最佳的动作决策。Q学习是通过定义Q函数的方法来估计价值函数，聚焦于在状态$s$下找到执行动作$a$的累计奖励，通过迭代的方式求解。由于时序决策序列存在较强的相关性，采用了经验回放技术和目标网络的方式来提升网络的收敛性，每次训练过程中都从经验池中提取一定数量的经验数据，通过\ref{eq:Ltheta}计算目标网络与当前网络的误差，通过随机梯度下降（Stochastic Gradient Descent, SGD）的方式来更新网络参数。
 \begin{equation}
     L(\theta) = \mathrm{E} [(r_{t} + \gamma \max_{a'} Q'(s_{t+1}, a'; \theta ') - Q(s_t, a_t; \theta))^2]
@@ -327,7 +327,6 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
                 \STATE 更新目标网络$\theta' \leftarrow \theta$
             \ENDIF
         \ENDFOR
-        \STATE 1
         \ENDFOR
     \STATE 输出参数$\theta$
     \renewcommand{\algorithmicrequire}{\textbf{算法结束}}
@@ -340,7 +339,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
 \section{仿真结果分析}
 本节首先搭建了评估本章提出算法的仿真环境，主要是卫星的场景描述以及相关业务的参数，以及DRL算法所使用的参数。为了验证算法的有效性和性能，选取了多个不同的参数但作为仿真的场景并与固定信道分配等算法进行了对比，结果表明本文提出的算法能够实现较高的频谱效率和较低的阻塞率。
 \subsection{实验参数设计}
-仿真中使用的是低轨的单颗L波段卫星系统，主要的参数如表\ref{tab:para}所示。其中，业务的到达模型服从参数为$\lambda$的泊松分布，单位为次每分钟。同时业务的持续时间服从参数为$\mu$的负指数分布，单位分钟。业务速率的最低门限视为是\SI{500}{kbps}。系统中初始存在的用户数为400，分散在各个波束内。
+仿真中使用的是低轨的单颗L波段卫星系统，主要的参数如表\ref{tab:para}所示，主要参考文献\parencite{zhao2020deep}。其中，业务的到达模型服从参数为$\lambda$的泊松分布，单位为次每分钟。同时业务的持续时间服从参数为$\mu$的负指数分布，单位分钟。业务速率的最低门限视为是\SI{500}{kbps}。系统中初始存在的用户数为400，分散在各个波束内。
 
 \begin{table}
     \centering
@@ -398,7 +397,7 @@ $v_{sat}$是低轨卫星的运行速度，$L$如图\ref{fig:leonet}所示，是
     
 \subsection{算法性能分析}
 \subsubsection{算法复杂度分析}
-本文中使用的DRL算法通过状态重构、卷积降采样等方式降低了数据维度和计算的复杂度，从而在一定成都上大大缩减了计算开销和计算时间。本算法使用了卷积神经网络描述，其中卷积层的复杂度为：
+本文中使用的DRL算法通过状态重构、卷积降采样等方式降低了数据维度和计算的复杂度，从而在大大缩减了计算开销和计算时间。本算法使用了卷积神经网络描述，其中卷积层的复杂度为：
 \begin{equation}
     \mathcal{O}(\sum_{i=1}^{N_{conv}} M_i^2\cdot K_i^2 \cdot C_{in} \cdot C_{out})
     \label{eq:CNN}
@@ -481,4 +480,4 @@ $M_{in},M_{out}$分别是输入输出维度，总的复杂度为：
 \section{本章小结}
 % 本章基于深度强化学习领域的研究，提出了基于DQN的在低轨卫星通信下行链路中的多波束资源分配算法。本章首先详细分析了该场景下的序列决策问题，进而在分析问题的基础上提出了基于DQN的资源分配算法。本章首先对问题进行了数学建模，然后对状态空间进行了重构，接着详细介绍了DQN算法的原理和实现细节。最后通过仿真实验验证了本章提出的算法的有效性和性能。实验结果表明，本章提出的算法在低轨卫星通信场景下能够有效的降低系统的阻塞率，提高系统的频谱效率。
 
-本研究针对低轨卫星通信下行链路中的多波束资源分配问题，提出了一种基于DQN算法的动态信道梵佛我算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本文设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法能有效减少系统阻塞率并显著提升频谱效率。
+本研究针对低轨卫星通信下行链路中的多波束资源分配问题，提出了一种基于DQN算法的动态信道分配算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本文设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法能有效减少系统阻塞率并显著提升频谱效率。

chap/chap4.tex

@@ -0,0 +1,388 @@
+\chapter{基于深度强化学习的跳波束算法研究}
+
+\section{引言}
+对于多波束卫星，不同地区的覆盖会导致流量的空间分布不均匀，在某一个时间点量部分活跃的波束，提供服务的跳波束机制是有效应对空间流量分布不均匀的方法。传统的方法解决跳波束问题多采用优化或者元启发算法。这些方法的主要问题是随着波束数量的增加、解空间会极速上升。而跳波束决策是一种典型的动态环境序列决策问题，可以采用深度强化学习的方法进行建模。但是单智能体DRL方法在面对巨大的解空间时求解困难，容易出现维度灾难，面对流量需求和波束的公平性存在权衡的问题。如果将波束视为智能体进行多智能体深度强化学习，又容易陷入局部解的问题。本文提出了一种折中的方法，通过结合单智能体和多智能体的方法，提出了一种基于深度强化学习的跳波束算法。
+\section{系统与问题建模}
+\subsection{场景描述}
+    本文考虑多波束卫星的下行链路，通过时分复用的形式，可以提供$K$个波束覆盖$N$个小区的用户（$K<N$）。在$t$时刻，不同的波束与小区之间的可以使用以下矩阵描述：
+    \begin{equation}
+        \mathbf{X} = \{x_{k,n} | x_{k,n} \in {0,1},\sum_{n=1}^{N} = 1\}
+        \label{eq:X_bh}
+    \end{equation}
+
+    
+    在本章的假设中，每个小区的数据传输和业务请求通过数据包的形式表示，每个数据包大小均为$\varphi$bit，在一个时隙内产生多个不同业务数据包，请求符合参数为$\lambda_i$泊松分布。每个用户在$t$时刻请求服务，卫星系统通过星上业务缓存队列形成各个小区的业务队列，表示为$\Phi_{t,n} = \{\varphi_{1,n},\varphi_{2,n},\cdots, \varphi_{m, n}\}$。$T$为星上的缓存容量，星上缓存维护业务数据队列，超过时限还没有处理的业务数据将会丢弃。相应地，每个业务在被处理时，由于业务的到达时间和业务的处理时间不同产生排队延迟$\tau$。在$t$时刻，小区$n$的数据总需求为$d_{t,n} = \sum \Phi_{t, n}$。图\ref{fig:bh}展示了本章所示的跳波束系统模型。
+    \begin{figure}[hbpt]
+        \includegraphics[width=0.85\textwidth]{chap/figures/bh.png}
+        \caption{跳波束系统模型图}
+        \label{fig:bh}
+    \end{figure}
+    
+    
+    在本章使用的模型中，假设系统的总带宽为$B_{tot}$，可以被划分为$M$个不同的信道，每个信道的带宽为$B_{ch}$，在本文第二章的描述中，信道的分配是一个高维的信道分配矩阵，但在跳波束问题中，高维的信道分配矩阵会给问题带来额外的复杂度，为了简化由于信道分带来的复杂度，本章中的波束每次只能分配连续的信道使用，即可能的信道分配方式有$1+2+3+\cdots+M$种。图\ref{fig:bwpattern}展示了四个信道时系统的信道分配方式。
+    \begin{figure}[hbpt]
+        \centering
+        \includegraphics[width=0.85\textwidth]{chap/figures/bwpattern.png}
+        \caption{信道分配方式示意图}
+        \label{fig:bwpattern}
+    \end{figure}
+    因此在$t$时刻系统的带宽分配方式可以记作：
+    \begin{equation}
+        \mathbf{B} = [B_t^1, B_t^2,\cdots, B_t^K]
+        \label{eq:Bwall}
+    \end{equation}
+    而$B_t^k$为图\ref{fig:bwpattern}所示中的各信道分配集合。
+    不同的波束点亮同一个小区时，如果所使用的信道具有重叠部分（图\ref{fig:alphaij}），会产生同频干扰。可以定义波束$i,j$之间的同频干扰系数$\alpha_t^{i,j}$：
+    \begin{equation}
+        \alpha_t^{i,j} = \frac{|B_t^i \cap B_t^j|}{|B_t^i|}.
+        \label{eq:alphaij}
+    \end{equation}
+    
+    \begin{figure}[hbpt]
+        \centering
+        \includegraphics[width=0.75\textwidth]{chap/figures/alphaij.png}
+        \caption{同频干扰系数示意图}
+        \label{fig:alphaij}
+    \end{figure}
+    
+    波束$k$点亮小区$n$的增益为：
+    \begin{equation}
+        h^{k,n} = G^k_t \cdot PL \cdot G^n_r
+        \label{eq:hnks}
+    \end{equation}
+    其中$G^k_t$为波束$k$的发射增益，$G^n_r$为小区$n$的接收增益，$PL$为信道损耗。波束$k$到小区$k$的
+    信干噪比为
+    \begin{equation}
+        SINR_t^{n,k} = x_{n,k} \frac{P_{beam}h^{n,k}}{N_0|B_t^k|B_{ch} + \sum_{n'\neq n} P_{beam} \alpha^{k, i}h^{n',i}}
+        \label{eq:sinrbh}
+    \end{equation}
+    其中$P_{beam}$为波束的发射功率，$N_0$为系统的噪声功率密度。根据香农公式， 可以计算出小区$n$的信道容量为：
+    \begin{equation}
+        C_t^n = \sum_k x_{n,k} |B_t^k|B_{ch} \log_2(1+SINR_t^{n,k}).
+        \label{eq:Capch}
+    \end{equation}
+    
+    在$t$时刻小区$n$的总数据吞吐量为：
+    \begin{equation}
+        Th_t^n = \min \{C_t^n, d_{t,n}\}.
+        \label{eq:th}
+    \end{equation}
+    \subsection{问题建模}
+    在建立了跳波束的场景下，可以定义动态跳波束的优化问题。对于跳波束系统而言，其首要目标是在时变的小区数据传输需求下，最大化长期的总的数据吞吐量，同时为了保障系统中不同用户的Qos需要尽可能保障各小区业务的公平性，即最小化不同小区之间的业务延迟差异。对卫星而言，其长期吞吐量 可以写为 
+        \begin{equation}
+            Th_{tot} = \sum_{t=1}^{T} \sum_{n=1}^{N} Th_t^n
+            \label{eq:thtotal}
+        \end{equation}
+    同时，业务的延迟$\tau_t^n$可以定义为数据包在缓存的等待时间对数据量的平均数，即
+    \begin{equation}
+        \tau_t^n = \frac{\sum_{i}^{T_{ttl}} i \cdot \varphi_{t-i, n}}{\sum_{i}^{T_{ttl}} \varphi_{t-i, n}}.
+        \label{eq:tau_nt}
+    \end{equation}
+    从而，$T$时间内不同小区之间的延迟差异可以表现为：
+    \begin{equation}
+        \Delta = \sum_{t=1}^{T} (\max_n \tau_t^n - \min_n \tau_t^n).
+        \label{eq:Dekta}
+    \end{equation}
+    
+吞吐量反映了系统的总体性能，表征了跳波束系统面对流量空间不均匀性的性能，而延迟的公平性则反映了系统整体的QoS指标。这两个指标存在一定的矛盾性，即提高系统的总体吞吐量可能会降低系统的QoS指标，而提高系统的QoS指标可能会降低系统的总体吞吐量。因此，本文将跳波束问题建模为一个多目标优化问题，即最大化系统的总体吞吐量，同时最小化系统的延时极差。将跳波束问题建模为以下问题：
+\begin{align}
+    \mathrm{opt.} \max \mathcal{P} &= \beta \frac{Th_{tot}}{Th_{max}} - (1-\beta) \frac{\Delta}{\Delta_{max}} , \beta\in [0,1] \label{eq:target_p}\\
+    \mathrm{s.t.} &\sum_k P_{beam}^k > P_{tot} \label{eq:pttt} \\
+    &\sum_k |B_t^k|B_{ch} \leq B_{tot} \label{eq:btot} \\
+    &\sum_k x_{n,k} = 1 \label{eq:xnkk} \\    
+\end{align}
+
+在此优化问题中，优化的目标是最大化系统的总体和最小化系统的延时极差，其中$\beta$为权重系数，$\beta$反映了对吞吐量和公平性的取舍，$\beta$越大意味着优化越倾向于最大化吞吐量，反之意味着最小化延时差。$Th_{max}$和$\Delta_{max}$为系统的最大吞吐量和最大极差。约束条件\ref{eq:pttt}为系统的总发射功率约束，约束条件\ref{eq:btot}为系统的总带宽约束，约束条件\ref{eq:xnkk}为波束分配约束。
+\section{基于深度强化学习的跳波束算法建模}
+本节详细介绍本文提出的动态跳波束问题的解决方法。首先提出了多目标深度强化学习算法的体系结构，包含了算法中的一些考虑，随后给出了状态空间、动作空间、奖励函数等的处理。
+\subsection{马尔可夫过程构建}
+
+\textbf{（1）状态空间}
+
+本章讨论的多波束卫星场景下，状态主要可以表示为环境当前的数据需求，即
+
+\begin{equation}
+    s_t = {D_t}
+    \label{eq:state_tt}
+\end{equation}
+
+\textbf{（2）动作空间设计}
+
+动作空间由两部分组成，即小区的点亮矩阵与信道的分配模式。
+
+\begin{equation}
+    a_t = \{\mathbf{X_t}, \mathbf{B_t}\}
+\end{equation}
+
+\textbf{（3）奖励函数}
+
+根据优化目标\ref{eq:target_p}，算法的奖励函数可以写为
+\begin{equation}
+    r_t(s_t, a_t) = \beta \frac{Th_{tot}}{Th_{max}} - (1-\beta) \frac{\Delta}{\Delta_{max}} , \beta\in [0,1] 
+\end{equation}
+
+\subsection{状态重构}
+本章中描述业务量状况使用的是泊松分布的数据包到来的状况，由于泊松分布的特性，业务的到来是时间连续的行为，为了对$D_t$进行处理，需要对业务进行状态重构。假设每个数据包的大小是相等的，使用数据包的数量来代表小区的业务量请求，数据包请求可以表示为
+\begin{equation}
+    d_t^{i,j} = \sum \{\varphi_{m,t} | i \in [ \frac{T_{ttl}\cdot m}{M}, \frac{T_{ttl}\cdot(m+1)}{M})\}
+    \label{eq:data_packet}
+\end{equation}
+图\ref{fig:state_ch}描述了状态重构的结果。
+
+\begin{figure}
+    \begin{small}
+        \begin{center}
+            \includegraphics[width=0.95\textwidth]{chap/figures/state_change_1.png}
+        \end{center}
+        \caption{状态重构示意图}
+        \label{fig:state_ch}
+    \end{small}
+\end{figure}
+
+
+    \subsection{动作决策与Q网络设计}
+    \ref{sec:qwl}描述了深度Q学习中Q网络的基本结构。
+    在传统的基于动作价值函数的DRL方法中，根据网络输出的最大值Q输出单一的动作选择。但在本问题所示的跳波束场景下，波束不仅需要选择点亮的小区还需要选择点亮时的信道分配模式，而这两个问题所需要的动作空间是不同的。为了能够使用这个方法解决跳波束问题，本文提出了一种合作性多智能体强化学习方案，系统中有两个独立的智能体，在训练的过程中分别学习各自的策略、拥有独自的经验回访池，分别选择独立的动作，即点亮的波束与信道的分配模式，两个动作共同作用与环境进行交互从而得到共同的奖励函数$r$。
+    \begin{figure}[hbpt]
+        \centering
+        \includegraphics[width=\textwidth]{chap/figures/multidqn.png}
+        \caption{多智能体强化学习框架}
+        \label{fig:multiagent}
+    \end{figure}
+    传统的DQN算法中，Q网络的输出是一系列Q值的数组，这种情况下，智能体可以选择最大的Q值对应的动作即（$a_t = \arg \max Q(s,a;\theta)$）。通常而言这种值的输出是一维的数值，而在跳波束问题中，两个网络的输出都是一个具有$K$个分量的向量。在这种情况下，文献\parencite{hu2020dynamic}采用的方法是通过循环的方式，连续进行$K$次决策：每次选择一个小区后，将该小区的数据需求量暂时更新为0，重复$K$次，执行的动作是$K$个动作的并集，$\vec{a} = \{a_1,a_2,\cdots,a_K\}$。这样做的缺点是系统需要更长的时间进行决策、并且会导致难以收敛。而文献\parencite{lin2022dynamic}采取的方式是将每个分量再次拆解为单独的智能体，即将每个波束视为单独的智能体，这样做大大简化了问题的复杂度，但是会导致智能体之间的合作性降低，容易陷入局部最优解。为了应对以上的问题，本文提出了一种折中的方法，即每一个智能体的Q网络在输出层通过多头分叉的方式输出多组不同的Q值，既能充分利用全局的状态信息，又能在一定程度上降低系统的复杂度。在更新时，本文对每个动作分量分别计算网络的误差，通过总误差求平均值获得网络的误差函数：
+
+    \begin{equation}
+        L(\theta) = \frac{1}{K} \sum_k \mathrm{E}[(r_t + \gamma \max Q(s_{t+1}, a'_{t+1,k}; \theta') - Q(s_t, a_{t,k}; \theta))^2]
+        \label{eq:Loss_eq}
+    \end{equation}
+    
+    本章提出的算法使用了四层的全连接神经网络，每个网络共享的输入层、三层共享的隐藏层，输出层为多头分叉的输出层。具体的参数如表\ref{tab:multihead}所示。
+
+    \begin{table}[hbpt]
+        \begin{small}
+            \caption{网络参数设置}
+            \label{tab:multihead}
+            \begin{center}
+                \begin{tabular}{cccc}
+                    \toprule
+                    层 & 输入 & 输出& 激活函数 \\
+                    \midrule
+                    输入层 & $N \cdot T_{ttl}$ & 128 & ReLU \\
+                    隐藏层1 & 128 & 128 & ReLU \\
+                    隐藏层2 & 128 & 128 & ReLU \\
+                    隐藏层3 & 128 & 128 & ReLU \\
+                    智能体1输出层 & $128 \times K$ & $K \times N$ & - \\
+                    智能体2输出层 & $128 \times K$ & $N \times \frac{M\times(M+1)}{2}$ & -\\
+                    \bottomrule
+                \end{tabular}
+            \end{center}
+        \end{small}
+    \end{table}
+    
+    
+    
+
+    \begin{figure}
+        \centering
+        \includegraphics[width=0.85\textwidth]{chap/figures/mheads.png}
+        \caption{多头Q网络示意图}
+        \label{fig:multiq}
+    \end{figure}
+    \subsection{算法流程}
+    \begin{breakablealgorithm}
+        \caption{基于多智能体与多目标优化的深度强化学习跳波束算法}
+        \label{algo:2}
+        \begin{algorithmic}[1]
+            \renewcommand{\algorithmicrequire}{\textbf{参数初始化}}
+            \REQUIRE
+            \STATE 初始化多波束卫星场景
+            \STATE 初始化业务到达参数
+            \STATE 初始化两个智能体Q网络参数$\theta$初始化，目标Q网络参数$\theta '$初始化，初始化经验回放池$D = \emptyset, N = N_e$
+            \STATE 初始化业务队列信息
+            \renewcommand{\algorithmicrequire}{\textbf{训练与优化过程}}
+            \REQUIRE
+            \FOR{episode $i \leftarrow 1,2,\dots, S$}
+            \STATE 初始化状态$s_0$，并进行状态的重构
+            \FOR{timestep $t \leftarrow 1,2,\dots, T$} 
+                \STATE 不同小区的业务需求量进行更新，抛弃超时的数据包$\epsilon = \max (\epsilon\cdot\lambda, \epsilon_f)$
+                \STATE 观察环境，构建状态$s_t$
+                    \FOR{智能体 $j$}
+                    \STATE 智能体利用$\epsilon - greedy$选择一个概率$p$
+                    \IF{$p \le \epsilon$}
+                        \STATE 随机选择动作$a_{t,j} \in \mathcal{A}(s_t)$
+                    \ELSE
+                        \STATE 选择$a_{t,j} = \arg \max Q(s_t, a; \theta)$
+                    \ENDIF
+                    \ENDFOR
+                    \STATE 合并动作$a_t = {a_{t, j}|j=1,2}$
+                    \STATE 执行$a_{t}$，更新环境的状态，计算吞吐量与延时，得到奖励$r_t$，观察下一个状态$s_{t+1}$
+                    \STATE 处理$s_{t+1}$，将$\langle s_t, a_t, r_t, s_{t+1}\rangle$添加到经验回访池$D$中
+                \IF{经验存储池$D$中的数据量大于经验回放门限}
+                    \STATE 从$D$中随机抽取一组经验数据进行训练
+                    \STATE 计算目标网络的预测值
+                    \STATE 根据\ref{eq:Ltheta}计算损失函数$L(\theta)$，通过神经网络的反向传播进行训练
+                \ENDIF
+                \IF{$t \mod G = 0$}
+                    \STATE 更新目标网络$\theta' \leftarrow \theta$
+                \ENDIF
+            \ENDFOR
+
+            \ENDFOR
+        \STATE 输出参数$\theta$
+        \renewcommand{\algorithmicrequire}{\textbf{算法结束}}
+        \REQUIRE
+        \end{algorithmic}
+    \end{breakablealgorithm}
+    
+\section{仿真结果分析}
+\subsection{仿真参数设计}
+本节仿真基于 python3.10环境，使用了单颗Ka波段卫星，主要参数如表\ref{tab:bhparam}所示，卫星场景仿真参数参考\parencite{lin2022dynamic}，跳波束时隙参考\ref{etsi2005digital}。其中业务的请求量按照泊松分布产生，根据具体的吞吐量需求计算得到对应$\varphi$比特的数据包到达率$
+\lambda$。
+
+\begin{table}[hbpt]
+    \centering
+    \caption{卫星场景仿真参数表}
+    \label{tab:bhparam}
+    \begin{tabular}{cc}
+        \toprule
+        参数 & 值\\
+        \midrule
+        卫星高度 & \SI{36000}{km} \\
+        中心频率 & \SI{20}{GHz} \\
+        路径损失 & \SI{209.6}{dB} \\
+        小区数量$N$ & 19 \\
+        波束数量$K$ & 4 \\
+        信道数量$M$ & 4 \\
+        系统带宽$B_{tot}$ & \SI{500}{MHz} \\
+        波束发射功率$P_{beam}$ & \SI{27}{dBW} \\
+        天线半波束角 & \SI{0.75}{\degree} \\
+        天线的发射增益$G_T$ & \SI{40.3}{dBi} \\
+        用户接收增益 $G_R$ & \SI{31.6}{dBi} \\
+        最小时间间隔$t_{slot}$ & \SI{2}{ms} \\
+        星上缓存容量$T_{ttl}$ & $40\times t_{slot}$\\
+        小区业务需求量 & $U(\SI{50}{Mbps}, \SI{150}{Mbps})$ \\
+        经验回访池容量 & 10000 \\
+        经验回放门限 & 4000 \\
+        每次回放经验数 & 256 \\
+        学习率 & 0.00001 \\
+        初始探索概率 & 1.0 \\
+        最终探索概率 & 0.001 \\
+        目标网络更新步长 & 200 \\
+        训练轮次 & 15000 \\
+        \bottomrule
+    \end{tabular}
+\end{table}
+
+\subsection{仿真结果分析}
+
+\subsubsection{收敛性分析}
+根据此前的分析，在$\beta$取不同的值时会导致算法偏向不同的优化目标，$\beta$越大时，算法会更倾向于满足通信的需求，而$\beta$越小会更偏重于时延的公平性。
+本节对于不同的$beta$取值，分别进行了训练，如图\ref{fig:rwbeta}所示。从图中可以看出，在不同的$\beta$的取值下，本算法对于奖励函数都最终趋于平稳的数值，反映出算法在不同偏好下都具有一定的收敛性。由图中的奖励函数信息可以分析出，在，在$beta$取值较小时（0-0.2），奖励函数收敛性相比其他更慢，这说明为了为了实现时延的公平性，需要进行更多的探索，而其他取值则在4000轮次开始逐渐稳定。图\ref{fig:smooth}反映了$\beta = 0.5
+$时，时延的收敛情况。
+\begin{figure}[hbpt]
+    \centering
+    \includegraphics[width=0.85\textwidth]{chap/figures/reward.png}
+    \caption{不同$\beta$取值的奖励函数收敛性}
+    \label{fig:rwbeta}
+\end{figure}
+
+\begin{figure}[hbpt]
+    \centering
+    \includegraphics[width=0.75\textwidth]{chap/figures/smooth.png}
+    \caption{时延的收敛情况}
+    \label{fig:smooth}
+\end{figure}
+
+
+\subsubsection{性能分析}
+
+\textbf{（1）不同$\beta$取值对系统性能的影响}
+
+
+根据收敛性分析，本章所提出算法对于不同的$\beta$都具有一定的效果，但是不同的$\beta$对系统收敛性存在一定的影响。为了明确的说明算法的在不同取值下的性能，图\ref{fig:beta_delay}说明随着$\beta$的升高，时延的公平性逐渐变差，而系统总的吞吐量随之增加，这一结论与此前的讨论相同。
+\begin{figure}[hbpt]
+    \centering
+    \begin{subfigure}{0.45\textwidth}
+        
+        \includegraphics[width=\textwidth]{chap/figures/delay.png}
+        \caption{时延随着$\beta$的变化}
+        \label{fig:subfigure1}
+    \end{subfigure}
+    \begin{subfigure}{0.45\textwidth}
+        \includegraphics[width=\textwidth]{chap/figures/th.png}
+        \caption{吞吐量随着$\beta$的变化}
+        \label{fig:subfigure2}
+    \end{subfigure}
+    \caption{不同$\beta$取值下的系统性能}
+    \label{fig:beta_delay}
+\end{figure}
+
+
+\textbf{（2）在不同吞吐量需求下的吞吐量表现}
+
+为了比较本章算法与其他算法在不同业务需求量的情况下的表现情况，本节将本文算法与其他的方法进行了对比。本章对比的算法列表有：
+\begin{enumerate}
+    \item 周期算法：本算法通过平均分配时分复用的方式进行跳波束的切换操作，在本次实验中，小区的数量为19个，共有4个波束，按照每5个时隙为周期，每个波束按照固定的顺序点亮特定的小区。同时为了提高系统的频谱效率并且抑制同频干扰，每个波束频率复用因子为2。
+    \item 随机算法：每个时隙随机选择点亮的波束，并且随机选择每个波束所需要的信道模式。
+    \item 贪心算法：每个时隙选择吞吐量需求最大的$K$个小区点亮，同样频谱复用因子为2。
+    \item 遗传算法\parencite{angeletti2006beam}：通过遗传算法这一启发式算法进行小区的点亮，在本次实现中种群数量选择为200，迭代次数为60次。
+\end{enumerate}
+
+在实验中，为了比较算法的长期表现，本文通过进行500次独立的实验，取平均值的操作进行。在每次实验中，通过控制小区不同的流量需求在\SI{50}{Mbps}到\SI{300}{Mbps}之间分布模拟流量需求的空间不均匀特性，通过控制流量的分布得到总的平均流量需求，每次实验包含200个决策时隙。图\ref{fig:allth}展示了不同算法在此场景下的比较结果，其中计算的吞吐量按照实际数据包数量计算，即如果卫星提供的吞吐量超过实际数据量，以实际数据为准。从实验结果不难看出，在较低的流量需求下如图低于\SI{2000}{Mbps}时，所有算法都能够基本满足用户的流量需求，在这种情况下所有波束的容量都要比流量需求大。而随着系统需求的增加，随机算法最早出现了瓶颈，周期算法、贪心算法则在\SI{2200}{Mbps}左右达到吞吐量的饱和值，这是由于频率复用方案所决定的。而本文算法与遗传算法则可以在保持
+到流量需求为\SI{3000}{Mbps}。
+
+\begin{figure}[hbpt]
+    \centering
+    \includegraphics[width=0.75\textwidth]{chap/figures/allth.png}
+    \caption{吞吐量随需求变化图}
+    \label{fig:allth}
+\end{figure}
+
+\textbf{（3）在不同吞吐量需求下的时延公平性的表现}
+
+
+在时延的公平性上，与吞吐量情况不同，各种算法的表现具有较大的差（图\ref{fig:alldl}）。随机算法在各种带宽需求上表现都比较差。周期算法在低业务需求时表现较好，随着业务需求的增加迅速升高。贪心算法总体表现较好，在业务需求区间内都保持着低于\SI{25}{ms}的水平。本文提出的算法总体上呈现出随着业务量增大而上升的状况，在中低业务需求的情况下，在保证时延的公平性上，具有较好的性能，在\SI{2300}{Mbps}的业务需求下，能够比贪心算法的公平性低25\%左右，而在较大吞吐量需求时，为了保证吞吐量，仍然能够控制时延公平性在\SI{30}{ms}以内的水平，考虑到本仿真中星上缓存为40个时隙，本算法在较高业务流量时仍然能够保证大部分业务的正常传输。遗传算法总体与本文提出的算法在时延公平性上表现接近。
+
+\begin{figure}[hbpt]
+    \centering
+    \includegraphics[width=0.75\textwidth]{chap/figures/dlall.png}
+    \caption{时延公平性随需求变化图}
+    \label{fig:alldl}
+\end{figure}
+
+\subsubsection{复杂度分析}
+
+本文使用的DQN算法每一层算法复杂度为
+\begin{equation}
+    \mathcal{O}(M_{in}\cdot M_{out})
+    \label{eq:OMM}
+\end{equation}
+而在本文共使用了$L$层隐藏层全连接神经网络，输出层为分叉输出所以算法复杂度为式\ref{eq:allC}，其中$M$为信道的数量：
+\begin{equation}
+    \mathcal{O} (\sum^L M_{in}\cdot M_{out} + M_{L,out}K^2\cdot(M^2+N)) 
+    \label{eq:allC}
+\end{equation}
+
+为了作为比较，表\ref{tab:complexity}给出本文使用到的其他方法的时间复杂度和仿真实验中决策的平均时间：
+
+\begin{table}[hbpt]
+    \centering
+    \caption{各算法的平均复杂度}
+    \label{tab:complexity}
+    \begin{tabular}{ccc}
+        \toprule
+        算法名称 & 时间复杂度 & 平均决策用时 \\
+        \midrule
+        周期算法 & $\mathcal{O}(1)$&{3.75}$\mu$s\\
+        随机算法 & $\mathcal{O}(1)$&{3.54}$\mu$s \\
+        贪心算法 & $\mathcal{O}({NT_{ttl}+N\cdot\log_2NK})$ & 98.76$\mu$s\\
+        本文算法 & $\mathcal{O} (\sum^L M_{in}\cdot M_{out} + M_{L,out}K^2\cdot(M^2+N)) $ & 1288$\mu$s \\
+        遗传算法 & $\mathcal{O}({PG(Kk^3 + (K^2+NT_{ttl})k^2)})$ & \SI{311}{ms}\\
+        \bottomrule
+    \end{tabular}
+\end{table}
+经过之前的实验结果分析可以得知，在各种方法中，遗传算法和本文提出的算法在满足流量不均匀的情况时都能够表现较好，但是在实际的决策中，由于遗传算法每次决策初始化种群并计算适应性函数进行迭代，其算法复杂度非常高，反映到实际的决策时间上， 遗传算法相比其他算法是数量级的差异并不合适面对流量变化迅速的实时决策。而本文提出的算法在满足流量需求时表现很好，时延公平性方面相比随机等算法也有较大的提升，在实际决策上，决策时间平均在\SI{1}{ms}左右，仍然能够都满足最小的时隙要求，换句话说，本文提出的算法在表现上能够解决遗传算法等启发式算法，但在决策时间上只是遗传算法的$0.03\%$。
+\subsection{本章小结}
+
+本研究针对低轨卫星通信下行链路中的跳波束问题，提出了一种基于DQN算法
+跳波束和信道联合分配算法。在深入分析序列决策问题的基础上，通过数学建模与状态空间的重构，本章设计了适用于此场景的资源分配策略，并详细阐述了DQN算法的原理及实现细节。通过仿真实验，验证了该算法在保持较低的算法时间复杂度的同时，保障了多波束卫星在面对空间流量不均匀场景下的性能表现。

chap/chap5.tex

@@ -0,0 +1,16 @@
+\chapter{总结与展望}
+\section{本文总结}
+卫星通信具有覆盖范围广、组网灵活、不受地理环境和地形等因素影响等优点，在新一代移动通信系统中收到越来越多的关注。而随着卫星通信系统的发展，人们对卫星通信质量的要求越来越高，而可用于卫星通信的频谱资源却面临枯竭。在这种情况下，多种改进的资源分配算法逐渐被提出，能够有效提供多波束卫星的通信效率。同时，随着人工智能的快速发展，新兴的深度强化学习方法为卫星通信系统的资源分配提供了一条新思路。在这一背景下，本文对卫星通信系统的信道分配问题和跳波束资源分配问题进行了研究，对卫星通信系统中时间和空间业务分布不均匀、通信的频谱效率低等问题，研究了基于深度强化学习的资源分配和跳波束分配方法，并针对实验场景对系统性能进行了仿真分析。
+
+本文的主要工作归纳如下：
+
+（1）查阅文献资料，总结了卫星资源分配技术的研究与应用现状，分析了目前资源分配技术的研究方向和存在的问题，为本文的研究提供了理论基础。结合现有的卫星通信系统，建立起了卫星通信系统的架构模型，分析了使用深度强化学习方法进行资源分配研究的可行性。
+
+（2）提出了基于深度强化学习的低轨卫星通信信道分配方法，应用系统阻塞率作为系统的优化函数将问题抽象为马尔可夫决策过程，将系统分配问题转化为了图形特征，给出了系统的频率、功率等分配的限制与策略。仿真结果表明，与传统的按需分配相比，能够有效提高系统的频谱效率和用户的通信质量。
+
+（3） 提出了基于深度强化学习的跳波束资源分配方法，对跳波束通信场景进行抽象，建立了马尔可夫过程。通过状态重构等方式、结合单智能体算法决策与多智能体决策优点相结合，提出了一种多目标双智能体跳波束与信道联合分配方法。仿真结果表明，该方法相比随机算法、周期调度、贪心调度等能够有效提高系统的吞吐量，同时在一定程度上保证系统的公平性。同时与启发式搜索 相比，具有系统决策复杂度低，训练完成后无需根据环境变化重新构建等特点，相比遗传算法在吞吐量和公平性方面相差不大的情况下能够大大减少系统的决策时间，达到可用的程度。
+
+
+\section{未来展望}
+
+动态资源管理技术作为卫星通信系统的关键技术，具有重要性意义。目前，深度强化学习在卫星通信系统中没有得到广泛应用的主要原因有：卫星通信系统的动作空间复杂，随着卫星系统容量的增加、计算复杂度增加，强化学习的实时性无法得到保证；其次是深度强化学习方法在空间通信系统中面临着数据环境复杂，噪声误差等存在偏差与仿真环境差异大等问题。面对以上问题，多智能体强化学习、知识蒸馏、网络参数了量化等方法值得进一步研究以用于减少深度强化学习的空间复杂。通过迁移学习和仿真环境相结合的训练机制，也能够降低系统数据的偏差。

thesis.bib

@@ -1,20 +1,20 @@
-@article{test-en,
+% @article{test-en,
-	author = {Author},
+% 	author = {Author},
-	title = {Title},
+% 	title = {Title},
-	type = {J},
+% 	type = {J},
-	journal = {Journal},
+% 	journal = {Journal},
-	date = {2014-04-01},
+% 	date = {2014-04-01},
-	language = {english},
+% 	language = {english},
-}
+% }
 
-@article{test-zh,
+% @article{test-zh,
-	author = {作者},
+% 	author = {作者},
-	title = {标题},
+% 	title = {标题},
-	type = {J},
+% 	type = {J},
-	journal = {期刊},
+% 	journal = {期刊},
-	date = {2014-04-01},
+% 	date = {2014-04-01},
-	language = {chinese},
+% 	language = {chinese},
-}
+% }
 
 
 @techreport{GSMA-2024,
@@ -277,6 +277,14 @@ employing geostationary satellites },
   year={1968},
   publisher={IEEE}
 }
+@inproceedings{luis2019deep,
+  title={Deep reinforcement learning for continuous power allocation in flexible high throughput satellites},
+  author={Luis, Juan Jose Garau and Guerster, Markus and del Portillo, Inigo and Crawley, Edward and Cameron, Bruce},
+  booktitle={2019 ieee cognitive communications for aerospace applications workshop (ccaaw)},
+  pages={1--4},
+  year={2019},
+  organization={IEEE}
+}
 
 @article{mnih2013playing,
   title={Playing atari with deep reinforcement learning},
@@ -290,3 +298,195 @@ employing geostationary satellites },
   journal={arXiv preprint arXiv:1707.06347},
   year={2017}
 }
+
+@article{lin2022dynamic,
+  title={Dynamic beam pattern and bandwidth allocation based on multi-agent deep reinforcement learning for beam hopping satellite systems},
+  author={Lin, Zhiyuan and Ni, Zuyao and Kuang, Linling and Jiang, Chunxiao and Huang, Zhen},
+  journal={IEEE Transactions on Vehicular Technology},
+  volume={71},
+  number={4},
+  pages={3917--3930},
+  year={2022},
+  publisher={IEEE}
+}
+@article{hu2020dynamic,
+  title={Dynamic beam hopping method based on multi-objective deep reinforcement learning for next generation satellite broadband systems},
+  author={Hu, Xin and Zhang, Yuchen and Liao, Xianglai and Liu, Zhijun and Wang, Weidong and Ghannouchi, Fadhel M},
+  journal={IEEE Transactions on Broadcasting},
+  volume={66},
+  number={3},
+  pages={630--646},
+  year={2020},
+  publisher={IEEE}
+}
+
+@inproceedings{angeletti2006beam,
+  title={Beam hopping in multi-beam broadband satellite systems: System performance and payload architecture analysis},
+  author={Angeletti, Piero and Fernandez Prim, David and Rinaldo, Rita},
+  booktitle={24th aiaa international communications satellite systems conference},
+  pages={5376},
+  year={2006}
+}
+@article{liu2013max,
+  title={Max-min rate control on traffic in broadband multibeam satellite communications systems},
+  author={Liu, Hongying and Yang, Zhiming and Cao, Zhigang},
+  journal={IEEE Communications letters},
+  volume={17},
+  number={7},
+  pages={1396--1399},
+  year={2013},
+  publisher={IEEE}
+}
+@article{han2015qos,
+  title={QoS-equilibrium slot allocation for beam hopping in broadband satellite communication systems},
+  author={Han, Han and Zheng, Xueqiang and Huang, Qinfei and Lin, Yuan},
+  journal={Wireless Networks},
+  volume={21},
+  pages={2617--2630},
+  year={2015},
+  publisher={Springer}
+}
+@ARTICLE{9210133,
+  author={Hassan, Naveed U.L. and Huang, Chongwen and Yuen, Chau and Ahmad, Ayaz and Zhang, Yan},
+  journal={IEEE Wireless Communications}, 
+  title={Dense Small Satellite Networks for Modern Terrestrial Communication Systems: Benefits, Infrastructure, and Technologies}, 
+  year={2020},
+  volume={27},
+  number={5},
+  pages={96-103},
+  keywords={Small satellites;Low earth orbit satellites;Satellite broadcasting;Planetary orbits},
+  doi={10.1109/MWC.001.1900394}}
+
+  @article{唐斯琪2023深度强化学习在天基信息网络中的应用,
+  title={深度强化学习在天基信息网络中的应用——现状与前景},
+  author={唐斯琪 and 潘志松 and 胡谷雨 and 吴炀 and 李云波},
+  journal={系统工程与电子技术},
+  volume={45},
+  number={3},
+  pages={886--901},
+  year={2023}
+}
+
+@inproceedings{wang2021joint,
+  title={Joint beam-hopping scheduling and power allocation in NOMA-assisted satellite systems},
+  author={Wang, Anyue and Lei, Lei and Lagunas, Eva and Chatzinotas, Symeon and Neira, Ana Isabel P{\'e}rez and Ottersten, Bj{\"o}rn},
+  booktitle={2021 ieee wireless communications and networking conference (wcnc)},
+  pages={1--6},
+  year={2021},
+  organization={IEEE}
+}
+@inproceedings{panthi2017beam,
+  title={Beam hopping-a flexible satellite communication system for mobility},
+  author={Panthi, Sunil and Breynaert, Dirk and McLain, Christopher and King, Janet},
+  booktitle={35th AIAA International Communications Satellite Systems Conference},
+  pages={5413},
+  year={2017}
+}
+
+@article{zhao2020deep,
+  title={A deep reinforcement learning based approach for energy-efficient channel allocation in satellite Internet of Things},
+  author={Zhao, Baokang and Liu, Jiahao and Wei, Ziling and You, Ilsun},
+  journal={IEEE Access},
+  volume={8},
+  pages={62197--62206},
+  year={2020},
+  publisher={IEEE}
+}
+
+
+@article{etsi2005digital,
+  title={Digital video broadcasting (dvb); second generation framing structure, channel coding and modulation systems for broadcasting, interactive services, news gathering and other broadband satellite applications},
+  author={ETSI, ETSI},
+  journal={Part II: S2-Extensions (DVB-S2X)},
+  pages={22--27},
+  year={2005}
+}
+
+@book{ilvcev2017global,
+  title={Global Mobile Satellite Communications Theory},
+  author={Il{\v{c}}ev, Stoj{\v{c}}e Dimov},
+  year={2017},
+  publisher={Springer}
+}
+
+@article{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法,
+  title={基于深度增强学习和多目标优化改进的卫星资源分配算法},
+  author={张沛 and 刘帅军 and 马治国 and 王晓晖 and 宋俊德},
+  journal={Journal on Communication/Tongxin Xuebao},
+  volume={41},
+  number={6},
+  year={2020}
+}
+
+@mastersthesis{张雨晨2020基于多目标深度强化学习的多波束卫星动态波束调度算法研究,
+  title={基于多目标深度强化学习的多波束卫星动态波束调度算法研究},
+  author={张雨晨},
+  year={2020},
+  school={北京邮电大学}
+}
+
+@article{刘刚2004卫星蜂窝通信系统中的点波束设计,
+  title={卫星蜂窝通信系统中的点波束设计},
+  author={刘刚 and 吴诗其},
+  journal={系统工程与电子技术},
+  volume={26},
+  number={2},
+  pages={157--159},
+  year={2004}
+}
+@phdthesis{低轨卫星通信网络中面向多星协作的资源分配研究,
+  author      = {赵梅惠},
+  school      = {北京大学},
+  title       = {低轨卫星通信网络中面向多星协作的资源分配研究},
+  year        = {2024}
+}
+
+@article{bai2018multi,
+  title={Multi-satellite relay transmission in 5G: Concepts, techniques, and challenges},
+  author={Bai, Lin and Zhu, Lina and Zhang, Xuejun and Zhang, Wei and Yu, Quan},
+  journal={IEEE Network},
+  volume={32},
+  number={5},
+  pages={38--44},
+  year={2018},
+  publisher={IEEE}
+}
+@article{jia2018interbeam,
+  title={Interbeam interference constrained resource allocation for shared spectrum multibeam satellite communication systems},
+  author={Jia, Min and Zhang, Ximu and Gu, Xuemai and Guo, Qing and Li, Yaqiu and Lin, Ping},
+  journal={IEEE Internet of Things Journal},
+  volume={6},
+  number={4},
+  pages={6052--6059},
+  year={2018},
+  publisher={IEEE}
+}
+
+@article{yang2003co,
+  title={Co-channel interference modeling and analysis in a Poisson field of interferers in wireless communications},
+  author={Yang, Xueshi and Petropulu, Athina P},
+  journal={IEEE Transactions on signal processing},
+  volume={51},
+  number={1},
+  pages={64--76},
+  year={2003},
+  publisher={IEEE}
+}
+
+@article{甘仲民2006卫星通信技术的新发展,
+  title={卫星通信技术的新发展},
+  author={甘仲民 and 张更新},
+  journal={通信学报},
+  volume={8},
+  year={2006}
+}
+@article{kreutel1977antenna,
+  title={Antenna technology for frequency reuse satellite communications},
+  author={Kreutel, RW and Difonzo, DF and English, WJ and Gruner, RW},
+  journal={Proceedings of the IEEE},
+  volume={65},
+  number={3},
+  pages={370--378},
+  year={1977},
+  publisher={IEEE}
+}

thesis.tex

@@ -11,7 +11,7 @@
 % 调出。
 
 % 如果格式审查提示字号不严格符合标准，可以在 [] 中加入“ugly”选项。
-\documentclass[UTF8]{pkuthss}
+\documentclass[UTF8, ugly]{pkuthss}
 % 如果的确须要使脚注按页编号的话，可以去掉后面 footmisc 包的注释。
 %\usepackage[perpage]{footmisc}
 
@@ -43,16 +43,17 @@
 	cthesisname = {硕士学位论文}, ethesisname = {Master Thesis},
 	thesiscover = {硕士研究生学位论文},
 	% 长标题可用 \thssnl 强制换行，不能用“\\”（双盲版会出错）。
-	ctitle = {测试文档},
+	ctitle = {基于深度强化学习的卫星资源分配研究},
 	etitle = {Test Document},
-	cauthor = {某某}, eauthor = {Test}, date = {某年某月},
+	cauthor = {高俊}, eauthor = {Test}, date = {2024年5月},
-	studentid = {0123456789}, school = {某某学院},
+	studentid = {2101212985}, school = {电子学院},
-	cmajor = {某某专业}, emajor = {Some Major},
+	cmajor = {通信与信息系统}, emajor = {Some Major},
-	direction = {某某方向}, mentorlines = {2},
+	direction = {卫星与无线通信系统}, mentorlines = {2},
-	cmentor = {某甲教授\\某乙教授},
+	cmentor = {刘爱民},
 	ementor = {Prof.\ Somebody and Prof.\ Someone},
-	ckeywords = {其一，其二},
+	ckeywords = {卫星通信, 动态资源分配, 跳波束, 深度强化学习},
-	ekeywords = {First, Second},
+	ekeywords = {Satellite Communication，Dynamic Resourcen Allocation，Beam Hopping，Deep Reinforcement Learning},
+	degreetype = {1},
 	% 以下两项无双盲评审需求的用户可保持原状。
 	% 注意 discipline/major 分别指一/二级学科。
 	blindid = {9876543210}, discipline = {某某学科}
@@ -139,6 +140,8 @@
 	\include{chap/chap1}
 	\include{chap/chap2}
 	\include{chap/chap3}
+	\include{chap/chap4}
+	\include{chap/chap5}
 
 	% 正文中的附录部分。
 	\appendix