final

chap/chap5.tex

@@ -6,11 +6,24 @@
 
 （1）文献调研分析，总结了卫星资源分配技术的研究与应用现状，分析了目前资源分配技术的研究方向和存在的问题，为本文的研究提供了理论基础。结合现有的卫星通信系统，建立起了卫星通信系统的架构模型，分析了使用深度强化学习方法进行资源分配研究的可行性。
 
-（2）针对低轨卫星通信信道分配问题中的阻塞率指标，引入了深度强化学习，通过将系统问题转化成马尔可夫决策过程，将系统分配问题转化为了图形特征，给出了系统的频率、功率等分配的限制与策略。仿真结果表明，与传统的按需分配相比，基于深度强化学习的策略能够有效提高系统的频谱效率和用户的通信质量。
+% 本文通过引入深度强化学习的思想，将低轨卫星通信信道分配场景转化为了马尔可夫决策过程，在
+（2）针对低轨卫星通信系统信道分配问题，本文分析了低轨卫星通信场景下动态信道分配场景，引入深度强化学习思想，将低轨卫星通信场景下的动态信道分配问题转化为了马尔可夫决策过程，给出了算法的详细设计。通过仿真结果表明深度强化学习在低轨卫星通信中的有效性，同时与固定分配方法相比，该算法可以有效提高系统的频谱效率和通信质量。
 
-（3）针对卫星通信跳波束资源分配问题中动作空间过大、吞吐量需求与公平性无法兼顾的问题，改进实现了一种多目标双智能体跳波束与信道联合分配方法，该方法结合了多目标优化与多智能体合作训练的方法，在复杂度与目标指标优化之间实现了兼顾。仿真结果表明，该方法相比随机算法、周期调度、贪心调度等能够有效提高系统的吞吐量，同时在一定程度上保证系统的公平性。同时与启发式搜索 相比，具有系统决策复杂度低，训练完成后无需根据环境变化重新构建等特点，相比遗传算法在吞吐量和公平性方面相差不大的情况下能够大大减少系统的决策时间，达到可用的程度。
+% 针对低轨卫星通信信道分配问题中的阻塞率指标，引入了深度强化学习，通过将系统问题转化成马尔可夫决策过程，将系统分配问题转化为了图形特征，给出了系统的频率、功率等分配的限制与策略。仿真结果表明，与传统的按需分配相比，基于深度强化学习的策略能够有效提高系统的频谱效率和用户的通信质量。
+
+% （3）针对卫星通信跳波束资源分配问题中动作空间过大、吞吐量需求与公平性无法兼顾的问题，改进实现了一种多目标双智能体跳波束与信道联合分配方法，该方法结合了多目标优化与多智能体合作训练的方法，在复杂度与目标指标优化之间实现了兼顾。仿真结果表明，该方法相比随机算法、周期调度、贪心调度等能够有效提高系统的吞吐量，同时在一定程度上保证系统的公平性。同时与启发式搜索 相比，具有系统决策复杂度低，训练完成后无需根据环境变化重新构建等特点，相比遗传算法在吞吐量和公平性方面相差不大的情况下能够大大减少系统的决策时间，达到可用的程度。
+
+（3）针对卫星通信波束资源分配问题，本文分析了跳波束问题中动作空间过大、吞吐量需求与公平性矛盾的问题，引入深度强化学习的思想，设计实现了基于深度强化学习的多目标多智能体波束与信道联合分配算法，该算法结合多目标优化与多智能体合作训练的方法。仿真结果表明，该算法相比随机算法、周期调度算法、最大流量算法等，能够实现更大的吞吐量。在吞吐量和公平性与能够得到近似最优解的遗传算法相近，而决策时间开销仅有遗传算法的0.3\%，验证了深度强化学习方法在跳波束问题中的有效性。
 
 
 \section{未来展望}
 
-动态资源管理技术作为卫星通信系统的关键技术，具有重要性意义。目前，深度强化学习在卫星通信系统中没有得到广泛应用的主要原因有：卫星通信系统的动作空间复杂，随着卫星系统容量的增加、计算复杂度增加，强化学习的实时性无法得到保证；其次是深度强化学习方法在空间通信系统中面临着数据环境复杂，噪声误差等存在偏差与仿真环境差异大等问题。面对以上问题，多智能体强化学习、知识蒸馏、网络参数量化等方法值得进一步研究以用于减少深度强化学习的空间复杂。通过迁移学习和仿真环境相结合的训练机制，也能够降低系统数据的偏差。
+% 动态资源管理技术作为卫星通信系统的关键技术，具有重要性意义。目前，深度强化学习在卫星通信系统中没有得到广泛应用的主要原因有：卫星通信系统的动作空间复杂，随着卫星系统容量的增加、计算复杂度增加，强化学习的实时性无法得到保证；其次是深度强化学习方法在空间通信系统中面临着数据环境复杂，噪声误差等存在偏差与仿真环境差异大等问题。面对以上问题，多智能体强化学习、知识蒸馏、网络参数量化等方法值得进一步研究以用于减少深度强化学习的空间复杂。通过迁移学习和仿真环境相结合的训练机制，也能够降低系统数据的偏差。
+
+目前深度强化学习在卫星通信的资源分配研究中仍处于前沿探索与研究阶段，深度强化学习方法优势在于序列决策问题中的长期收益优化，主要限制深度强化学习投入应用的问题有以下几点：
+
+首先，深度强化学习算法在高维动作或连续动作时存在收敛不稳定的问题，本文研究中解决高维动作问题采用了降低维度、缩小规模的形式处理。面对多资源联合分配问题，可能的解决方案是采用多层次的强化学习方法，通过不同的领域进行逻辑上的分层处理，降低问题的动作维度，这一方法需要进一步深入的研究。
+
+其次，本文以及相关研究主要关注深度强化学习方法对系统性能的优化，没有充分考虑在星上功率与计算资源有限的情况下算法本身的计算开销、能量需求和额外的通信代价等，这些问题也需要在此后的研究中进一步讨论。
+
+第三，现有的经典深度强化学习方法面临着学习效率较低的问题，需要数万训练样本才能实现有效的收敛，对每个具体问题都需要重新训练算法。针对这一问题，可以通过迁移学习的方式，实现跨场景的智能体训练，通过少量数据快速学习，迁移学习在强化学习理论的研究中是一个热门领域，在卫星资源分配中迁移学习和深度强化学习还需要更多的分析与研究。