junior.gj/thesis
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

v1.0withoutAck

Browse Source
This commit is contained in:
Junior
2024-05-13 14:50:58 +08:00
parent 6d07f45a85
commit 4832cbbd62
22 changed files with 723 additions and 65 deletions
Download Patch File Download Diff File Expand all files Collapse all files
chap/chap2.tex
+25 -11
View File
@@ -3,12 +3,12 @@
\chapter{多波束卫星系统概述}% 中文测试文字。
\section{引言}
多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及能够满足越来越大的系统容量需求等特点，正在受到更加广泛的关注和研究。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国在民用手机直连卫星领域广泛发展的天通系统，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quatinty of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值。
多波束卫星通信系统有着较高的天线增益、灵活的部署方式以及能够满足越来越大的系统容量需求等特点，正在受到更加广泛的关注和研究\supercite{甘仲民2006卫星通信技术的新发展}。国际上的各大卫星通信系统如StarLink系统、TerraStar、Inmarsat等以及我国在民用手机直连卫星领域广泛发展的天通系统，都广泛采用了多波束天线技术。为了提高多波束卫星通信系统的性能，应对越来越紧迫的卫星通信用户需求，多波束卫星系统的资源分配、干扰抑制等方向和内容都成为了这一领域的研究热点。由于星上资源有限，如何在频率和功率有限的情况下合理分配资源，保障用户的服务质量（QoS，Quatinty of Service）要求成为一个紧迫的事项，寻找一个权衡策略具有重要的研究价值\supercite{张沛2020基于深度增强学习和多目标优化改进的卫星资源分配算法}。
基于多波束卫星的资源分配问题，本章将介绍多波束卫星通信系统的基础知识背景，首先将简要地介绍多波束卫星系统的基本构成，对多波束卫星系统常用的技术进行整理归纳；之后，本文将讨论卫星通信系统中必不可少的空间传输特性；最后，本章将对本文中使用到的序列决策模型和深度学习技术进行介绍。
\section{多波束卫星系统主要结构}
\subsection{基本组成}
卫星通信系统是指通过人造卫星作为中继站对信号进行转发实现地面与地面、地面与空间等多种不同设备终端通信传输的系统。卫星通信系统主要组成包括空间段、用户段、地面段，如图\ref{fig:leo}所示。空间段主要是指在轨卫星以及其组成的星座。地面段部分主要是由信关站和控制中心组成，信关站主要用于实现对卫星的跟踪、遥控，提供对卫星的管理控制以保证卫星的在轨正常运行。用户段是用户使用卫星进行通信的终端的集合，包括手持卫星终端（如卫星电话、支持卫星通话的手机等）、固定终端（如StarLink网络中使用的用于接收卫星信号的终端等）、机动终端（如车载卫星终端、能够提供空中卫星上网服务的飞机等）。卫星与用户终端的通信链路是用户链路（User Link），根据数据传输方向又可以分为上行链路与下行链路。卫星与地面信关站之间通过馈电链路（Feed Link）进行通信，而卫星星座之间的卫星间通信通过星间链路（Inner-Satellite Link）进行。
卫星通信系统是指通过人造卫星作为中继站对信号进行转发实现地面与地面、地面与空间等多种不同设备终端通信传输的系统\supercite{ilvcev2017global}。卫星通信系统主要组成包括空间段、用户段、地面段，如图\ref{fig:leo}所示。空间段主要是指在轨卫星以及其组成的星座。地面段部分主要是由信关站和控制中心组成，信关站主要用于实现对卫星的跟踪、遥控，提供对卫星的管理控制以保证卫星的在轨正常运行。用户段是用户使用卫星进行通信的终端的集合，包括手持卫星终端（如卫星电话、支持卫星通话的手机等）、固定终端（如StarLink网络中使用的用于接收卫星信号的终端等）、机动终端（如车载卫星终端、能够提供空中卫星上网服务的飞机等）。卫星与用户终端的通信链路是用户链路（User Link），根据数据传输方向又可以分为上行链路与下行链路。卫星与地面信关站之间通过馈电链路（Feed Link）进行通信，而卫星星座之间的卫星间通信通过星间链路（Inner-Satellite Link）进行\supercite{ilvcev2017global}。
\begin{figure}[hbpt]
\centering
@@ -20,7 +20,7 @@
\subsection{波束与频率复用}
如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出地面蜂窝通信系统类似的蜂窝状结构。根据公式\ref{eq:gain_alpha},波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡等特征。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。
如图\ref{fig:leo}所示，多波束卫星每一个波束投射到地面都可以类比成为地面上的一个小区，呈现出地面蜂窝通信系统类似的蜂窝状结构\supercite{刘刚2004卫星蜂窝通信系统中的点波束设计}。根据公式\ref{eq:gain_alpha},波束中心信号的幅度最强，偏离中心越远的地方，其信号强度越弱，一般来讲，将波束信号衰减到相对于中心辐射强度的3dB时的位置作为小区的边缘。每个波束都可以单独收发信号，天线能够提供较高的增益，大幅度提高卫星的系统容量，满足较高的传输需求。同时，当同频率的波束之间距离较远时，可以通过频率复用的方式进一步提高系统的容量，实现更高的系统性能。这些特点赋予了多波束卫星配置灵活的特点。根据地面小区流量的动态变化可以采用跳波束等方式实现负载均衡等特征。如StarLink的下行波束可选覆盖-3dB和-5dB进行覆盖(图\ref{fig:starlinkrange})。而跳波束卫星则搭载了跳波束控制器，将数据流分发给地面上不同的波位实现通信\supercite{etsi2005digital}。
@@ -31,7 +31,7 @@
\label{fig:starlinkrange}
\end{figure}
波束频率间复用技术（frequency reuse, FR）就是将可以的带宽分多个不同的子波段，每一个波段可以在波束内进行复用，频率复用通过$N$色复用的形式描述，即将信道资源以均等的形式分配为多个分组，这样同一信道的就可以在多个不同小区的波束之间进行复用，从而提升频率效率和容量。图\ref{fig:fourcolor}展示了一个四色复用的例子，使用$N$色复用的情况下，波束的宽度设置为$\theta_b$，那么波束最小距离$\theta_c$ 为:
波束频率间复用技术\supercite{kreutel1977antenna}（frequency reuse, FR）就是将可以的带宽分多个不同的子波段，每一个波段可以在波束内进行复用，频率复用通过$N$色复用的形式描述，即将信道资源以均等的形式分配为多个分组，这样同一信道的就可以在多个不同小区的波束之间进行复用，从而提升频率效率和容量。图\ref{fig:fourcolor}展示了一个四色复用的例子，使用$N$色复用的情况下，波束的宽度设置为$\theta_b$，那么波束最小距离$\theta_c$ 为:
\begin{equation}
\theta_c = \frac{\theta_b\sqrt{3N}}{2}
\label{eq:minbw}
@@ -55,6 +55,20 @@
\label{fig:freqency_efficient}
\end{figure}
\subsection{跳波束模型}
跳波束的模型可以使用图\ref{fig:bhh}所描述，通过时隙窗口的分配结果决定各个波束在哪些时隙内工作以及各个时隙内哪些波束同时工作\supercite{panthi2017beam}。
\begin{figure}[hbpt]
\begin{small}
\begin{center}
\includegraphics[width=0.95\textwidth]{chap/figures/bhbh.png}
\end{center}
\caption{跳波束模型示意图}
\label{fig:bhh}
\end{small}
\end{figure}
% \subsection{gvdc gcdu 工作频段}
% 卫星通信系统的工作频段由国际电信联盟（International Telecommunication Union， ITU）进行统一协调管理，应用于卫星通信系统的主要频段有L、S、C、X、Ku、K、Ka、V等波段。
@@ -110,7 +124,7 @@
\label{fig:pb}
\end{figure}
天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的共频干扰。ITU给出了各种多波束天线的旁瓣辐射特征\parencite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了四部分(\ref{fig:pb})，用公式表示为：
天线旁瓣要比主瓣更宽，会导致天线主瓣和旁瓣之间在空间上相互叠加，在使用相同频率进行通信时就产生了波束间的共频干扰。ITU给出了各种多波束天线的旁瓣辐射特征\supercite{ITUR6724}，这一标准将天线旁瓣辐射特征分为了四部分(\ref{fig:pb})，用公式表示为：
\begin{equation}
G(\alpha) = \begin{cases}
@@ -151,7 +165,7 @@
其中$L_f$ 代表自由空间传播损耗，$L_g$ 代表大气吸收损耗，$L_r$ 雨衰。
\begin{enumerate}[label=(\arabic*)]
\item 自由空间传播损耗：电磁波在星地之间进行传播时，信号能量将会随着距离的增加而进行扩散，由此会产生的传播损耗被称为自由空间传播损耗\parencite{ziyoukongjian}。自由空间传播损耗是最基本的传播损失，由于自由空间的传播损失，用户终端接收到的信号功率仅占发射功率极小部分。自由空间的传输损耗与传播距离的平方成正比，与载波波长成反比，由此定义自由空间传播损耗$L_f$为
\item 自由空间传播损耗：电磁波在星地之间进行传播时，信号能量将会随着距离的增加而进行扩散，由此会产生的传播损耗被称为自由空间传播损耗\supercite{ilvcev2017global}。自由空间传播损耗是最基本的传播损失，由于自由空间的传播损失，用户终端接收到的信号功率仅占发射功率极小部分。自由空间的传输损耗与传播距离的平方成正比，与载波波长成反比，由此定义自由空间传播损耗$L_f$为
\begin{equation}
L_f = (\frac{4\pi d}{\lambda})^2 = (\frac{4\pi d f}{c})^2
@@ -174,7 +188,7 @@
L_r = \gamma_r L _E
\label{eq:Lr}
\end{equation}
$\gamma_r$代表一年内$0.01\%$时间中的降雨概率决定的衰减因子，$L_E$代表有效长度\parencite{series2015propagation}。
$\gamma_r$代表一年内$0.01\%$时间中的降雨概率决定的衰减因子，$L_E$代表有效长度\supercite{series2015propagation}。
\end{enumerate}
\subsubsection{系统噪声}
@@ -218,10 +232,10 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
\section{优化问题建模}
在一定时间序列内对卫星资源进行分配可以视为是序列决策问题，是资源管理中常见的优化问题。这一问题通常被建模为马尔可夫决策过程（Markov Decision Process，MDP）\parencite{russell2016artificial}，本节主要对序列决策和MDP进行阐述。
在一定时间序列内对卫星资源进行分配可以视为是序列决策问题，是资源管理中常见的优化问题。这一问题通常被建模为马尔可夫决策过程（Markov Decision Process，MDP）\supercite{russell2016artificial}，本节主要对序列决策和MDP进行阐述。
\subsection{序列决策概述}\label{sec:decision}
在控制理论中，序列决策通常涉及到在一系列离散的时间步骤里，根据当前系统状态和信息，进行一系列的决策，以达到某种优化目标。在优化问题中，序列决策的每一个步骤都会对后续决策和整体的性能产生影响，但在局部看，序列决策的结果并不一定是最优结果。例如数学、管理学和计算机科学等领域应用较多的动态规划算法（Dynamic Programming，DP），会将整体问题拆解为具有重复子问题和最优子结构的序列决策问题，通过最小化或最大化某种目标函数的形式得到整体问题的最优解。另一个常见的场景是的棋牌类比赛中，下棋的每一步都会对整个后续棋局造成影响，单步的下棋策略往往不是最优甚至某些时候是非常糟糕的策略，而整体的收益会在比赛结束后得到结果。
通常，序列决策问题的求解有多重方法。当所有可能的状态完全已知或者问题具有固定的概率分布，可以通过编程实现有限状态机的方法进行求解。这样方法要求在软件设计阶段，程序开发人员能够遇见到所有可能的情况。但是在实际的问题中，状态空间和动作空间都具有不确定性，穷举所有状态、设计有限状态机的方法不再现实。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\parencite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）等方式，能够有效的解决序列决策问题。
通常，序列决策问题的求解有多重方法。当所有可能的状态完全已知或者问题具有固定的概率分布，可以通过编程实现有限状态机的方法进行求解。这样方法要求在软件设计阶段，程序开发人员能够遇见到所有可能的情况。但是在实际的问题中，状态空间和动作空间都具有不确定性，穷举所有状态、设计有限状态机的方法不再现实。另一种方法是通过搜索算法寻找最优解或者近似最优解。搜索算法的基本流程就是在约束条件的限制下，在程序运行过程中穷举或近似穷举可能的决策序列，例如在棋牌类游戏中A*算法\supercite{hart1968formal}等。搜索算法的主要问题是当决策空间或者状态空间过大时，搜索算法的时间复杂度会急剧增加，导致算法无法在合理的时间内得到结果。搜索的改善策略则是通过启发式搜索或近似搜索的方法减少搜索的复杂度、获取得到近似结果，例如遗传算法、模拟退火等。在以上结果的基础上，基于机器学习的序列求解算法具有更好的性能，通过训练模型的方式可以有效的处理状态、结果、动作的不确定性，通过定义好的MDP过程，使用强化学习的方法如值迭代、策略迭代、蒙特卡洛搜索（Monte Carlo Tree Search，MCT）等方式，能够有效的解决序列决策问题。
\subsection{马尔科夫决策过程}
@@ -266,7 +280,7 @@ $P_t$是信号的发射功率，$G_r$与$G_t$分别代表终端的接收增益
V^\pi (s) = \mathrm{E}^\pi [R_t|s_t=s]
\label{eq:V}
\end{equation}
其中$V^\pi (s) $表示的是状态$s$在策略$\pi$下的期望奖励，根据贝尔曼期望方程\parencite{russell2016artificial}，当前状态的值函数使用当前即时奖励与下一状态的值函数进行描述：
其中$V^\pi (s) $表示的是状态$s$在策略$\pi$下的期望奖励，根据贝尔曼期望方程\supercite{russell2016artificial}，当前状态的值函数使用当前即时奖励与下一状态的值函数进行描述：
\begin{equation}
\begin{aligned}
V^\pi(s) &= \mathrm{E}^\pi[r_t + \gamma \sum_{\tau=0}^{\infty }\gamma^\tau r_{t+\tau+1}|s_t = s] \\
@@ -403,7 +417,7 @@ DRL算法作为机器学习的一种，结合了RL的序列决策能力和DL的
\end{figure}
深度强化学习就是通过DL来表征强化学习中的动作价值函数和策略函数，通过神经网络拟合的方式使得RL算法能够摆脱低维状态空间的限制。2013年，DeepMind公司的研究人员首次基于DNN的方法改进了RL中的Q学习算法，得到深度Q网络学习算法（DQN）\parencite{mnih2013playing}，引发了Deep RL的研究热潮。常见的DRL算法如表\ref{tab:drl}所示。
深度强化学习就是通过DL来表征强化学习中的动作价值函数和策略函数，通过神经网络拟合的方式使得RL算法能够摆脱低维状态空间的限制。2013年，DeepMind公司的研究人员首次基于DNN的方法改进了RL中的Q学习算法，得到深度Q网络学习算法（DQN）\supercite{mnih2013playing}，引发了Deep RL的研究热潮。常见的DRL算法如表\ref{tab:drl}所示。
\begin{table}[hbpt]
\centering