无人飞行器序列影像处理与运动分析

第1章绪论
如果让公众对过去二十年发生在现代遥感领域的大事件做一个排序，那么以无人机为代表的各类无人飞行器的广泛应用极有可能荣登榜首。事实上，无人飞行器的影响已远远超出传统遥感技术的范畴而触及人类社会生活的诸多方面。本章首先对无人飞行器遥感的基本功能、技术特征和发展潜力展开分析，然后结合本书的安排，介绍无人飞行器序列影像处理应用涉及的理论和技术层面的相关内容。
1.1无人飞行器遥感：能力、魅力与潜力
信息时代的人们多少变得有些麻木。无论是某个商业帝国的突然崩塌，抑或是某个一名不文的少年因突发奇想而一夜成名，诸如此类的人和事出现得太多，也同样不可避免地淹没在信息的洋流之中，于是人们变得习以为常，多数情况下甚至连持久的记忆都难以形成。然而，即便是在信息时代，有一样东西却与众不同地始终吸引着人们的注意力，这就是无人飞行器。无人飞行器由无人机和无人飞艇两大类组成，以前者为主。本书中，除非需要对二者进行区别性的介绍和分析，一般我们直接以无人机来代替无人飞行器的概念。
其实，无人飞行器并非新鲜事物，早在飞机问世后不久就出现了。但是，如今人们却在用新奇的眼光审视它，因为它既改变了现状，又颠覆了传统。同样，它也不是无所不能，人们却对其倾注着热情的期待，因为我们清楚，目前它所展示出来的能力只是其潜能的冰山一角。
说无人飞行器披着神秘的外衣进入人们的视野并不为过。原因首先是科幻因素；人们通常在孩提时代就通过科幻小说、电影或动漫接触到各种无人飞行器，在造成强烈的视觉和心灵刺激的同时也产生种种向往与遐想。再次，当然也是最重要的，就是最近二十年来无人机在军事领域取得的巨大成功。从前人们只听说过无人侦察机，或者作为军事发烧友也对无人靶机等有所了解。如今，五花八门、性能各异的无人机已活跃在世界的各个角落，执行着战场侦察、地形测绘、环境监测乃至目标指示、跟踪和打击的各类任务。下一步，不仅可用于实战的无人战斗机指日可待，满载各类无人机的航空母舰也将游弋于广阔的海洋。
至此，有必要对无人飞行器作一些规范化地讨论。首先是其定义，我们针对无人机和无人飞艇分别给出。无人机是相对于有人机的一个概念，广义地讲，是指飞机内没有驾驶员，又可对其进行控制的一类航空器。虽然对这类航空器我们一直以“无人机”相称，但实际上在其发展过程中却有着众多的英文名称，典型的如RPV、UAV和UAS等。其中，RPV（remotely piloted vehicle）意为遥控驾驶飞行器，强调的是利用无线电技术对无人机的远距离控制；UAV(unmanned aerial vehicle)是目前为止最广泛采用的名称，出现于预编程自主飞行技术在无人机上得到应用之后，其直译就是无人航空器；UAS（unmanned aircraft system）即无人机系统，近年来得到广泛采用，它强调了无人机作为一个系统的概念，即除无人机平台外还包括了发射回收设备、地面控制站和通信链路等。飞艇的概念相对简单，它是一种利用轻于空气的气体来提供升力的航空器。虽然早期大多数飞艇都是有人驾驶的，但无人飞艇数量所占的比重越来越大。无人飞艇的英文缩写是RPA（remotely piloted airship）即遥控驾驶飞艇。
在无人飞行器的各类应用中，军事领域应用一直并毫无疑问地将继续占有支配地位。从最早作为靶机的无人机原型，到陆续用于实战的成像侦察、战场测绘、电子干扰、火炮校射乃至对地攻击的各型无人机，向人们展示出过去三十年来这一领域令人目不暇接的成果。更令人震撼的是，无人机系统的发展近年来正呈加速之势，再过几年就会发现，过去所取得的一切只能看作其早期或初级成就。对此，从目前美军正在研发和验证的几款隐形无人空中作战系统，到实验室中各色形如小鸟的扑翼型智能无人机“样本”，就可以初见端倪。
与军事领域轰轰烈烈的发展相比，无人机在民用领域似乎显得默默无闻、不温不火。但事实却是，尽管民用无人机系统没有（当然也不需要）以军用系统那样的速度推陈出新，但其应用范围在不断扩大，其市场也在加速扩展。如今，在灾害预警与评估、环境监测等应用中，无人机遥感方式因其低成本、高度灵活等特点而越来越多地取代传统的航空遥感。即便是在航空摄影测量这样的高度严密和专业化的技术领域，无人机也渗透进来了。随着面阵相机、侧视雷达和成像光谱仪等传感器的小型化与性能优化，以及数据传输与自动导航能力的提升，中低空无人机航空摄影测量系统正在加速占领小区域、大比例尺地图测绘市场。
未来无人飞行器的一个重要发展趋势就是其网络化运用。除了将型号和功能各异的无人飞行器组网运行，还可在一个统一时空框架下将布设于地面的各类传感器纳入其中。图11所示为一个地理空间传感器网络原理结构图。该网络在地理空间信息框架下，将应用区域所对应的遥感影像信息、非影像信息及其他地理空间信息数进行集成关联，从而实现对空中及地面传感器的协同控制，以及对多个运动目标的同步跟踪和对特定区域的持续监测，实现基于区域与目标的地理空间图11地理空间传感器网络原理结构图
信息快速获取和全维认知服务。其中，基于区域的服务是在应用空间内确定重点的区域范围，实时调配区域网络资源，对区域内地理空间环境和其他认知信息进行快速采集、处理与分析，从而充分获取该区域在对应时间内的环境信息。基于目标的服务是在区域监测和前期探测的基础上确立重点目标，在目标不脱离应用区域或者被捕获的条件下，网络资源向对应的兴趣目标倾斜，实现实时监视、跟踪和高精度定位。
地理空间传感器网络系统的网络集成特性首先表现在该网络是一个空地结合的立体监测网络。它由分层和分区域部署的空中多无人飞行器监测网络与地面监测网络构成，以空中监测网络为主，地面监测为辅。地面监测网络可以探测并发现运动目标，从而引导激活空中无人飞行器网络的运行，并和空中传感器网络共同组成多视觉的立体监测网络，实现多维信息的全方位监测。网络集成特性其次表现在多传感器的集成。空中无人飞行器网络可以搭载可见光、红外、合成孔径雷达等传感器；地面传感器主要为微型传感器节点，该节点可以是视频、图像等成像传感器，也可以是振动、热敏、红外、声波等非成像传感器。
地理空间信息框架是传感器网络体系的核心。为确保网络构建阶段的有效布设以及其中各传感器的协同实现，需要依托该框架从横向和纵向对空间区域进行划分，如图12所示。区域划分和分层是网络所属各传感器间实现协同应用的基础。在空间信息框架中将应用空间划分为相对独立的区域，同时确定各传感器所负责的区域，进而将传感器及其平台配属或投放到其对应的区域，以保证传感器对于监测区域的完整覆盖。在纵向上的层次划分可以将网络中不同性能的飞行器及其搭载传感器分别布置于各个层级空域，从而使网络传感器及平台在其性能上得到有效分工，优化监测结果。
图12空中监测网络的分层布设
12序列影像处理与运动分析
如11节所述，目前无人飞行器已能搭载各类现有的遥感载荷执行不同的对地观测任务，这意味着当今主流的遥感技术手段都可以在无人飞行器上得到小型化的版本。如此一来，乍一看无人飞行器遥感过程似乎并不复杂，因为一切都可遵循既定的程序和套路。但实际情况却远非如此，与传统的航空航天遥感相比，无人飞行器遥感必须应对一系列非典型的情况，包括低成本载荷获取的影像质量相对较低、飞行平台的高动态和不稳定、海量数据的实时处理与信息提取等。并且，除了携带不同的传感器，无人飞行器遥感还有两大特征，这就是无人飞行平台的差异性，以及遥感观测任务的多样化。
鉴于此，我们在建立无人飞行器遥感技术体系的时候，就很难将上述因素综合在一起，构建一个通用的系统。硬件方面的难度自不必言，数据融合处理方面同样存在着巨大的障碍。因此，目前比较现实也是通行的做法是，结合具体的无人飞行系统硬件配置来设计和开发相应的软件系统，以执行和完成特定的遥感探测任务。
但是，即便是面对种类众多的无人飞行器系统及其纷繁复杂的任务模式，仍然可以从顶层抽出一些共性的问题加以分析和讨论。例如，可以撇开无人机系统的差异，将某类传感器与其具体应用结合起来，提炼和分析其关键技术。这样，我们就可以从整体上把握具有与之相同或类似的无人机遥感模式的主要理论和技术特征。
本书正是从这一愿望和设想出发，围绕无人飞行器序列影像及其区域监视和运动目标跟踪应用展开。我们注意到，这是当前和今后相当长一个时期的主流遥感模式。在无人飞行器众多的探测方式中，基于视频流或序列影像的方式却独树一帜。随着计算机、网络和数字处理技术的进步，视频影像已在工业、交通、安全等领域得到应用并迅速普及开来。然而，一旦能够从空中实时传回地面目标和景观的数字视频，一扇全新的遥感视窗便打开了。一直以来，人们都希望能从空中捕捉和跟踪地面的运动现象并对兴趣区域进行连续与持久的监视，无人飞行器、视频影像和实时传输技术的结合正好切合了这一需求。
从大的结构上，本书在介绍无人飞行器系统后分两部分展开：前半部分重点介绍无人飞行器序列影像的基本特征以及各种标定和预处理方法；后半部分主要围绕区域监视和对地面目标的定位与跟踪应用讨论相关的问题。下面结合各章内容安排对本书的理论和技术体系作介绍。
在正式针对无人飞行器序列影像的分析处理和应用展开讨论之前，有必要对无人飞行器系统做一个较为详细的介绍。这不仅是为了内容体系上的完整性，更是因为序列影像的分析处理过程通常并非单纯针对影像数据本身来进行，往往还需结合飞行平台和传感器的状态参数以及数据传输特性联合进行。第2章首先分别结合无人机和无人飞艇的构造特征介绍二者的系统组成，并从稳定性、航空动力学控制和电子控制三方面分析飞行控制系统的设计要求。对作为无人飞行器中枢系统的地面控制站，在介绍其基本组成和物理配置的基础上，重点剖析针对各类任务的规划功能和飞行控制功能，对其与无人飞行器系统其他部分的外部通信接口也作了简要介绍。接下来介绍任务载荷，重点结合成像传感器的目标探测和识别性能及指标要求进行分析。连续和高精度地获取成像时传感器的位置与姿态可为地面目标快速定位提供全新的途径，这方面分别讨论GPS（global positioning system）定位原理、惯性导航系统（inertial navigation system，INS）位置和姿态测量方法，以及GPS/INS组合系统。最后介绍无人飞行器的数据链路，在分析其组成和特征之后着重讨论其数据传输特性。
在任何一个多层次的影像处理和分析系统中，预处理一般都被视作最底层和最初级的处理，对于序列影像亦是如此，这一环节之所以不可或缺，是因为其直接关乎后续处理的质量和效率。第3章介绍序列影像预处理技术。首先给出序列影像的一般特性，包括时间连续性和空间相关性；对无人飞行器获取的序列影像，则分析其获取平台特性、信息内容特性和目标对象特性。通过对视频影像进行离散化处理，可以获得时空相关性较高且属性参数一致的序列影像，这涉及视频影像重采样与模数转换问题，分别介绍模拟视频信号采样、视频采样制式转换、视频影像模数转换，以及数字视频影像编码与压缩等方面的理论和技术。序列影像质量的退化既有色调的失真，也可能来自各类噪声污染，甚至由于较大的斑点遮挡影像中的关键信息或重要特征；影像增强和复原的主要任务就是解决类似的问题。对于该章这部分核心内容，重点讨论色调校正及调整、视频滤波噪声抑制、区域斑点影像移除以及多帧影像超分辨率重建的基本理论和方法。序列影像的全局运动会对其中运动目标的相关处理分析造成干扰，因此需要在事前进行补偿纠正，以降低背景位移变化的幅度，这种自运动纠正的处理技术称为影像稳定，是序列影像特有的一种预处理。这方面先分析动态平台序列影像运动补偿问题的数学表达，接着分别给出基于特征的影像稳定方法以及光流估计影像稳定方法。
第4章的讨论围绕摄像机的成像几何模型展开。无人飞行器携带的通常是非量测型成像传感器，相对于遥感测绘中使用的量测型相机而言，这类传感器的内部结构不规则，内参数完全或部分未知，甚至不稳定。对于这类传感器，传统的摄影测量中针对画幅式相机进行几何建模的方法已不再适用，但却可以借助计算机视觉的方法加以描述。为了描述物像关系，该章首先介绍针孔摄像

无人飞行器正成为一种日渐重要的遥感动态监测平台。《无人飞行器序列影像处理与运动分析》在国内外相关研究的基础上，结合作者所在团队近年来取得的研究成果，阐述无人飞行器获取的序列影像的快速处理和运动分析的有关理论与技术。《无人飞行器序列影像处理与运动分析》共分10章，涉及无人飞行器序列影像处理与分析的基础理论和关键技术。首先，结合遥感动态监测系统的功能特性分析，介绍无人飞行器遥感监测系统的组成与特性。在此基础上，针对无人飞行器搭载平台，讨论序列影像预处理技术和摄像机构像几何模型。接下来，重点围绕序列影像快速处理和运动分析两方面的关键技术展开深入与广泛的讨论，内容分别包括摄像机几何标定、地面移动目标快速定位、序列影像配准与镶嵌和序列影像运动估计、运动检测以及运动对象跟踪。

前言
v 第1章绪论
1 1无人飞行器遥感:能力?魅力与潜力
1 2序列影像处理与运动分析
第2章无人飞行器遥感监测系统
2 1概述
2 2无人飞行平台
2 2 1无人机平台
2 2 2无人飞艇平台
2 2 3飞行控制系统
2 3地面控制站
2 3 1基本组成
2 3 2物理配置
2 3 3基本功能
2 3 4外部接口
2 4任务载荷
2 4 1成像传感器
2 4 2传感器位置与姿态测量
2 5数据链路
2 5 1数据链路的组成
2 5 2数据链路的特征
2 5 3数据传输特性
参考文献
第3章序列影像预处理
3 1序列影像数据特性
3 1 1序列影像一般特性
3 1 2无人飞行器序列影像数据特性
3 2视频影像重采样与模数转换
3 2 1模拟视频信号采样
3 2 2视频采样制式转换
3 2 3视频影像模数转换
3 2 4数字视频影像编码及压缩
3 3序列影像增强与复原
3 3 1色调校正及调整
3 3 2视频滤波噪声抑制
3 3 3区域斑点影像移除
3 3 4帧影像超分辨率重建
3 4序列影像稳定
3 4 1动态平台序列影像运动补偿
3 4 2基于特征的影像稳定方法
3 4 3光流估计影像稳定方法
参考文献
第4章摄像机成像几何模型
4 1针孔摄像机模型
4 2空间直角坐标变换
4 3摄像机几何构像模型
4 3 1摄像机内参数
4 3 2摄像机外参数
4 4镜头畸变
4 5与摄影测量构像模型的比较
参考文献
vi 第5章摄像机几何标定
5 1标定摄像机的经典方法
5 1 1利用野外控制点的方法
5 1 2使用三维标定参照物的方法
5 2使用平面模板标定摄像机
5 2 1Tsai两步法
5 2 2张正友方法
5 3摄像机自标定
5 3 1摄像机自标定方法概述
5 3 2基于Kruppa方程的自标定
5 4变焦摄像机在线标定
5 4 1变焦摄像机内参数模型
5 4 2变焦摄像机内参数模型下的Kruppa方程求解
5 4 3处理镜头畸变
参考文献
第6章地面移动目标快速定位
6 1GPS/INS坐标系统及其转换
6 1 1GPS坐标系
6 1 2与INS相关的坐标系
6 1 3摄影测量坐标系
6 1 4GPS坐标与我国地图坐标的转换
6 2基于GPS/INS的移动目标直接定位
6 2 1偏心角和偏心分量
6 2 2摄影测量外方位元素
6 2 3单像目标定位解算
6 3误差分析
6 4非量测型摄像机移动目标定位
6 4 1基本原理
6 4 2确定投影矩阵
参考文献
第7章序列图像配准与镶嵌
7 1角点特征提取与匹配
7 1 1角点特征提取
7 1 2角点特征匹配
7 2基于三视图的角点特征提取
7 2 1基本原理
7 2 2基于三视图的匹配角点提取算法
7 3序列图像配准模型
7 3 1平面构像配准模型
7 3 2起伏地表配准模型
7 3 3序列图像快速纠正
7 3 4序列图像配准的多项式模型
7 3 5旋转摄像机构像模型
7 4序列图像自动镶嵌系统
参考文献
vii 第8章序列影像运动估计
8 1传感器运动投影关系
8 1 1运动投影变换
8 1 2光流场的生成
8 2光流运动分析的基本方法
8 2 1微分梯度方法
8 2 2关联匹配方法
8 2 3频率能量方法
8 3多约束条件光流运动估计
8 3 1无人飞行器序列影像的多尺度结合
8 3 2变分光流方法及其平滑作用
8 3 3变分光流计算方法
8 4红外序列影像相位信息运动估计
8 4 1相位特征信息红外序列影像应用
8 4 2基于相位信息的红外影像光流估计
参考文献
第9章序列影像运动检测
9 1静态场景运动检测
9 1 1影像帧间差分方法
9 1 2静止背景建模方法
9 2无人飞行器运动目标检测分析
9 2 1运动检测空间属性要素
9 2 2目标检测运动特征要素
9 3动态平台条件下运动检测
9 3 1基于背景纠正差分的运动检测
9 3 2活动轮廓运动分割方法
9 3 3混合概率模型分割检测
参考文献
第10章运动对象跟踪
10 1运动跟踪模式类型分析
10 1 1运动目标模型分类
10 1 2运动跟踪模式类型
10 2基于目标特征的运动跟踪
10 2 1KLT特征光流跟踪
10 2 2直方图及核函数模型
10 2 3均值偏移跟踪方法
10 3状态滤波更新运动跟踪
10 3 1Bayesian动态系统框架
10 3 2Kalman滤波跟踪及其扩展
10 3 3蒙特卡罗方法和粒子滤波跟踪
参考文献
viii 索引