光电图像处理

第一章 光电图像处理概论
　　1.1 光电图像的基本概念
　　光电图像是指通过光学设备或光电成像传感器采集形成的二维或三维影像，光电图像处理则是对采集得到的影像进行处理分析，从中提取有用的信息，以满足人的视觉心理和实际应用的需求。伴随着数字化、网络化及智能化，新一轮科技革命及新一代信息技术飞速发展，光电图像处理技术已经渗透到了遥感遥测、航空航天、生物医学、自动控制、军事、安防及日常生活的各个方面，已逐步发展成为基于不同光谱范围下成像探测与智能感知领域的核心和关键技术。
　　1.1.1 模拟图像和数字图像
　　图像按成像的不同波段可以分为单波段、多波段和超波段图像。图1-1是电磁波波谱，其中可见光是波长在380～780nm。在不同探测系统下，可采用微波、太赫兹(THz)波、红外、可见光、X射线及伽马( )射线等不同波段成像，以适应不同物理介质、材料和状态的探测需求。单波段图像上每个点只有一个亮度值，多光谱图像上每个点具有多个特性，如彩色图像上每个点有红、绿、蓝三个亮度值，超波段图像上每个点甚至具有几十个或几百个特性。
　　图1-1 电磁波波谱
　　图像按空间坐标和亮度的连续性可以分为模拟图像和数字图像两类。所谓模拟图像是指图像在空间、亮度或色彩方面都是连续的，如人眼所捕捉的蓝天、白云、高山、草原等场景，都是模拟图像，还包括各种图片、海报以及由传统的胶片相机拍摄的照片等。与此相对应的数字图像是以数字格式存放的图像，此类图像的亮度、色彩在空间上都是离散的。由于自然图像都是模拟的，要获得数字图像必须要经过数字化处理，模拟图像经过扫描仪、图像采集卡等数字化设备处理后以数字格式存储在计算机中。如今，我们还可以通过数码相机、数码摄像机直接获得数字图像。
　　同样，图像处理也可分为模拟图像处理和数字图像处理两类。
　　模拟图像处理主要包括光学图像处理方法和照像方法。光学图像处理方法是利用光学系统对图像进行处理的方法，它充分发挥了光运算的高度并行性和光线传播的互不干扰性，能在瞬间完成复杂的运算，如二维傅里叶变换。需要说明的是，光学系统常常会产生强噪声和杂波，且不同系统的噪声和杂波具有特定性，很难有通用的处理方法可以克服；此外，光学系统的结构一旦确定就只能进行特定运算，难以形成通用计算系统。
　　数字图像处理方法*常见的就是通过计算机对图像进行处理，它具有抗干扰性好、易于控制处理效果、处理方法灵活多样的优点。其缺点是处理速度还有待提高，速度瓶颈在三个方面表现得尤为突出，一是图像处理算法本身比较复杂；二是对图像的处理要求高的实时性；三是所处理的图像分辨率和精度要求比较高。在这三种情况下，数字图像处理所需的时间将显著增加。
　　光电图像处理是指在不同观测系统下针对微波、太赫兹波、红外、可见光、紫外、X射线、 射线等不同波段的电磁波进行探测获得的模拟或数字图像。图1-2(a)～(f)是几种不同成像传感器获得的数字图像。
　　图1-2 不同探测系统下的图像
　　若不考虑前端成像系统，仅考虑后端的信号处理，则光电图像处理也即为数字图像处理。
　　1.1.2 数字图像的分类
　　按数字图像信息表示方式的不同，可以将数字图像分为矢量图(vector-based image)和位图(bit-mapped image)。矢量图是用一个系列计算指令来表示一幅图，如画点、画线、画曲线、画矩形等。这种方式实际上是用一个数学表达式来描述一幅图形，然后通过计算机编程来实现。矢量图文件数据量小，图像进行缩小放大时不会失真，很容易做到目标图像的移动、旋转、拉伸和复制。然而对于结构成分复杂的图像，如自然风景等，就很难用数学表达式来描述。位图则是指由一系列像素(pixels)构成的图像，每个像素是由亮度、色度等参数来描述，位图在数字图像处理中的应用十分广泛。矢量图和位图*大的区别在于，矢量图处理的对象是由数学表达式描述的形状，而位图处理的对象是像素。习惯上，我们有时把矢量图称为图形，位图则称为图像。
　　按图像携带的视觉信息类型不同，可以将数字图像分为灰度图像和彩色图像。灰度图像只包含亮度信息而没有色彩信息。灰度图像又可以根据灰度等级的数目划分为单色图和灰度图：单色图的每个像素只用1位(bit)表示，要么为1，要么为0，即图像只有两种颜色；灰度图的每个像素用1个字节(byte)表示，灰度等级为 级。彩色图像除了亮度信息之外，还包括了色彩信息。根据颜色的数目不同，彩色图可分为256色图像和真彩色图像( 种颜色)，用真彩色表示的图像文件很大，需要较大的存储空间和传输空间。
　　1.1.3 数字图像处理的特点
　　数字图像处理的特点可以概括为以下几个方面：
　　(1)数字图像信息量大。图像用数字形式进行存储和处理，在没有压缩的情况下，对存储空间和处理速度的要求都比较高。以黑白图像为例，每个像素的灰度级通常用8bit来表示，那么一幅大小为256×256个像素的图像需要64KB的存储空间，对于具有更高分辨率的图像，如图像像素数为512×512、1024×1024，此时图像的数据量分别为256KB和1MB。彩色图像的数据量就更大了，一幅分辨率为1920×1080的彩色图像需要6075KB (约6MB)的存储空间。对于30帧/秒(fps)1080P的电视图像，则每秒要求大约180MB的数据量。要对这样大信息量的图像或视频进行处理，对计算机的内存、处理速度都提出了挑战。
　　(2)数字图像中各个像素之间的相关性强。在一幅图像中，各个像素不是独立的，很多像素有相同或相近的灰度，通常认为可以用一个像素周围小区域内的多个像素点的灰度对它进行预测。据统计，在电视画面中，同一行中相邻两个像素的相关系数可达0.9以上。同样的，相邻两帧图像之间的差异很小，具有很强的相关性。正是这种像素之间的强相关性，为图像压缩提供了理论基础。
　　(3)数字图像处理占用的频带较宽。与语音信息相比，占用的频带要大几个数量级，所以在成像、传输、存储和处理的各个环节的实现上，技术难度相对较大。
　　(4)数字图像处理系统受人的因素影响较大。尽管深度学习等技术的出现进一步推动了人工智能(AI)的发展，解决了以往很多难以解决的问题。但AI的现有水平距离人脑还相差甚远，因此在图像分析、识别、判断的过程中，还离不开人的决策。实际上，人的视觉系统很复杂，受到环境、情绪、经验、主观意识等多种因素的影响，必然影响到数字图像处理的*终结果。
　　1.2 数字图像处理的起源与发展
　　20世纪20年代，图像处理技术首先应用于信息的远距离传输。当时通过巴特兰电缆图片传输系统从伦敦到纽约传输一幅图片，采用了数字压缩技术。从当时的技术水平来看，传送一幅不压缩的图片大约需要一星期的时间，而经过压缩后仅用了3小时。为了用电缆传输图片，首先使用特殊的打印设备对图片编码，然后在接收端重构这些图片。早期的巴特兰系统可以使用5个不同的灰度级来编码图像。到1929年，这一能力已增大到15级。在这一时期，由于引入了一种使用编码图片纸带调制光束而使底片感光的系统，因而明显地改善了还原过程。
　　数字图像处理的历史与数字计算机的发展密切相关。事实上，数字图像要求非常大的存储和计算能力，因此数字图像处理技术的发展必须依靠数字计算机及数据存储、显示和传输等相关支撑技术的发展。而计算机及相关技术的发展可以归纳为如下几点：①1948年，美国贝尔实验室发明晶体管；②1950～1960年，FORTRAN/COBOL编程语言相继问世；③1958年，美国德州仪器公司发明了集成电路(IC)；④20世纪60年代，早期操作系统诞生；⑤20世纪70年代，早期Intel公司开发了微处理器；⑥1981年，IBM公司推出了个人计算机；⑦自1958年第一块集成元件问世以来，元器件的逐渐小型化，大规模集成电路(LSI)、甚大规模集成电路(VLSI)和超大规模集成电路(ULSI)逐渐出现。伴随着这些进展，数字图像处理的两个基本需求——大容量存储和显示系统领域也随之快速发展。
　　20世纪60年代初，世界上第一台足以执行有意义的图像处理任务的大型计算机出现，并用于空间探索项目的开发，这标志着数字图像处理走向实用化时代的到来。1964年，美国喷气推进实验室(Jet Propulsion Laboratory，JPL)首次将数字图像处理技术成功应用于探月工程，采用IBM 7049计算机对“徘徊者七号”太空飞船发回的4000多张月球照片进行处理，使用了几何校正、灰度变换、去除噪声等技术，并考虑了太阳位置和月球环境的影响，由计算机成功绘制出月球表面地图，获得了巨大成功。在以后的宇航空间技术领域，如对火星、土星等星球的探测研究中，数字图像处理都得到了广泛的应用。20世纪60年代末和70年代初，计算机层析(CT)、X射线透射成像等图像处理技术也开始应用于医学成像、地球资源探测、遥感遥测和天文学等领域。
　　从20世纪60年代至今，图像处理技术一直在不断向前推进。科学家们通过图像处理来增强对比度或将灰度图像编码为彩色图像，以便应用于工业、生物科技等领域中的X射线和其他图像的解释。在地球科学及遥感领域，学者们使用相同或相似的技术，从航空和卫星成像中研究大气及环境污染模式。在考古学领域，使用图像处理方法也已成功复原了模糊图片。在物理学及其相关领域，通常利用计算机处理和增强如高能等离子和电子显微镜等领域的实验图像。
　　1.3 光电图像处理的主要内容
　　光电图像处理所包括的内容十分广泛。就研究目的而言，大致可以分为图像预处理和图像分析两大类。图像预处理通常是为了改善图像的质量，使图像中的某部分信息更加突出，以满足某种应用的需要；图像分析则是从图像中提取有用信息，满足应用需求的过程。具体包括以下内容：
　　(1)图像增强。由于成像系统是一个高度复杂的系统，图像在产生和传输的过程中总会受到各种干扰而产生畸变和噪声，使得图像质量下降，而图像增强正是为了提高图像的质量，如抑制噪声、提高对比度、边缘锐化等，以便于观察、识别和进一步的分析处理。增强后的图像与原图像不再一致，也许会损失一些有用信息，但如果这些信息是人眼无法感知的，这样的处理就是合理的。
　　(2)图像变换。图像变换的方法包括傅里叶变换、离散余弦变换、沃尔什-哈达玛变换、小波变换等。图像从空间域转换到变换域后，不仅可以减少计算量，而且可以获得更加有效的处理。如小波变换在时频域具有良好的局部化特征，在图像编码、图像融合中获得了广泛而有效的应用。
　　(3)图像复原与重建。大气湍流、摄像机与被摄物体之间的相对运动都会造成图像的模糊。图像复原是指把退化、模糊了的图像尽可能地恢复到原始图像的模样，它要求对图像退化的原因有所了解，建立相应的“退化模型”，再采用某种滤波方法，恢复或重建原来的图像。
　　(4)图像编码与压缩。图像编码与压缩主要是利用图像信号的统计特性和人类视觉的生理学及心理学特性，对图像信号进行编码，有效减少描述图像的冗余数据量，以便于图像传输、存储和处理。图像压缩在我们的日常生活中随处可见，如一些视频文件都采用了MPEG-4 技术进行压缩，在满足一定保真度的前提下，大大减小了存储空间，常见的JPEG 文件也都采取了压缩编码技术，减小了文件的字节数从而有利于图像的传输。
　　(5)图像分割。图像分割是将感兴趣的目标从背景图像中分离出来，便于提取出目标的特征和属性，进行目标识别，为*终的决策提供依据。图像自动分割一直是图像处理领域中的一个难题，尽管人类视觉系统能够将所观察的复杂场景中的对象一一分开，并识别出每个物体，但利用计算机进行图像分割往往还需要人工干预才能有效实现。
　　1.4 图像处理系统及应用
　　1.4.1 数字图像处理系统
　　数字图像处理日益广泛的应用促进了处理系统硬件设备的研制与开发。目前大型的专业化图像处理系统很多，集中在

《光电图像处理》是在作者多年教学实践和科研成果之上，以《光电图像处理及应用》为基础，融入近年来光电图像处理和机器视觉领域的*新进展，经过大幅度修订和内容调整编写而成。《光电图像处理》共分11章，以光电图像的形成、传输、处理及应用为主线，较全面和系统地阐述了数字图像处理的基本理论、方法及应用实践。

目录
第一章 光电图像处理概论 1
1.1 光电图像的基本概念 1
1.1.1 模拟图像和数字图像 1
1.1.2 数字图像的分类 2
1.1.3 数字图像处理的特点 3
1.2 数字图像处理的起源与发展 4
1.3 光电图像处理的主要内容 5
1.4 图像处理系统及应用 5
1.4.1 数字图像处理系统 5
1.4.2 图像处理技术应用 9
习题 12
第二章 图像的光学及视觉基础 13
2.1 视觉基础 13
2.1.1 人眼结构 13
2.1.2 图像的形成 14
2.1.3 视觉功能 14
2.1.4 光觉和色觉 15
2.1.5 视觉特性 16
2.2 光学基础 18
2.3 色度学原理与颜色模型 19
2.3.1 色彩基本属性 19
2.3.2 三基色原理 20
2.3.3 颜色模型 21
2.4 亮度和颜色的视觉特征 24
2.4.1 刺激强度与人眼感觉 24
2.4.2 亮度适应和颜色适应 24
2.4.3 颜色对比 25
2.4.4 亮度和颜色的视觉恒常性 25
2.4.5 颜色错觉 26
2.5 视觉模型 26
2.5.1 点扩散函数和调制转移函数 26
2.5.2 空间深度感与立体视觉 27
习题 29
第三章 光电图像处理基础 30
3.1 图像的采集及显示 30
3.1.1 图像的数字化 30
3.1.2 电视显像原理 34
3.2 成像质量表征 37
3.2.1 图像的基本术语 37
3.2.2 灰度级与图像深度 38
3.2.3 图像质量 38
3.3 图像的表示 39
3.3.1 连续函数描述 39
3.3.2 三维空间表示 39
3.3.3 矩阵表示 40
3.3.4 像素邻域 41
3.4 图像的基本运算 42
3.4.1 加运算 42
3.4.2 减运算 43
3.4.3 乘运算 44
3.4.4 除运算 45
3.5 图像文件格式 45
3.5.1 BMP文件 45
3.5.2 GIF文件 47
3.5.3 TIFF文件 47
3.5.4 JPEG文件 48
习题 49
编程练习 49
第四章 空间域图像增强 50
4.1 灰度变换 50
4.1.1 线性灰度变换 50
4.1.2 分段线性变换 51
4.1.3 非线性灰度变换 52
4.2 直方图处理 54
4.2.1 直方图定义 55
4.2.2 直方图均衡化 56
4.2.3 直方图匹配 60
4.3 空间域滤波基础 65
4.3.1 模板运算 65
4.3.2 边界处理 66
4.3.3 空间域相关与卷积 67
4.4 空间域平滑滤波 68
4.4.1 简单平均法 68
4.4.2 阈值平均法 70
4.4.3 梯度倒数加权滤波 71
4.4.4 中值滤波 71
4.5 空间域图像锐化 74
4.5.1 梯度法 74
4.5.2 高通滤波 77
4.5.3 反锐化掩模 79
习题 80
编程练习 81
第五章 图像变换及应用 83
5.1 二维连续线性系统 83
5.2 傅里叶变换 85
5.2.1 一维傅里叶变换 85
5.2.2 二维傅里叶变换 87
5.2.3 离散傅里叶变换的性质 88
5.2.4 快速傅里叶变换 91
5.2.5 频率域滤波及应用 94
5.3 离散余弦变换 100
5.3.1 一维DCT 101
5.3.2 二维DCT 101
5.3.3 DCT快速算法 102
5.4 沃尔什-哈达玛变换 104
5.4.1 离散沃尔什变换 104
5.4.2 离散哈达玛变换 108
5.4.3 离散沃尔什-哈达玛变换 110
5.5 K-L变换 111
5.5.1 图像的协方差矩阵 112
5.5.2 离散K-L变换 112
5.5.3 离散K-L变换的基本性质 113
5.6 小波变换 114
5.6.1 小波分析基础 114
5.6.2 连续小波变换 118
5.6.3 离散小波变换 120
5.6.4 小波多分辨率分析 120
5.6.5 图像的小波变换 121
5.6.6 提升小波变换 124
5.6.7 小波变换的优势及应用 125
5.7 S变换 126
5.7.1 S变换的基本原理 126
5.7.2 二维S变换 129
5.7.3 广义S变换 130
5.7.4 离散信号广义S变换算法实现 130
5.7.5 S变换实例分析 131
习题 141
编程练习 142
第六章 图像复原与重建 144
6.1 图像退化 145
6.1.1 图像退化过程 145
6.1.2 图像退化与复原模型 147
6.2 噪声模型 148
6.2.1 噪声的概率密度函数 148
6.2.2 周期噪声 153
6.2.3 噪声估计 153
6.3 去噪声复原 154
6.3.1 均值滤波器 155
6.3.2 统计排序滤波器 156
6.3.3 自适应滤波器 157
6.4 退化函数估计 159
6.4.1 观察估计 160
6.4.2 实验估计 160
6.4.3 建模估计 161
6.5 经典图像复原方法 164
6.5.1 图像复原基本原理 164
6.5.2 逆滤波 166
6.5.3 维纳滤波 167
6.5.4 约束*小平方滤波 169
6.5.5 盲图像复原 171
6.5.6 几何均值滤波 172
6.6 其他图像复原方法 173
6.6.1 *大后验复原 173
6.6.2 *大熵复原 173
6.6.3 投影重建 175
6.6.4 同态滤波 176
6.7 几何失真校正 178
6.7.1 典型的几何失真 178
6.7.2 空间几何坐标变换 179
6.7.3 空间像素点灰度校正 180
6.8 讨论与总结 181
习题 182
编程练习 183
第七章 图像编码与压缩 185
7.1 编码及信息论基础 185
7.1.1 图像压缩概述 185
7.1.2 图像编码及分类 186
7.1.3 信息论基础知识 186
7.1.4 图像压缩的性能评价 188
7.2 统计编码 189
7.2.1 游程编码 189
7.2.2 霍夫曼编码 190
7.2.3 算术编码 191
7.3 预测编码 193
7.3.1 预测编码的概念 193
7.3.2 DPCM编码 195
7.3.3 预测器模型 197
7.4 变换编码 199
7.4.1 变换编码的基本原理 200
7.4.2 变换编码的几个关键问题 201
7.5 图像压缩标准 204
7.5.1 JPEG系列 204
7.5.2 MPEG系列标准 208
7.5.3 H.26X系列 211
7.5.4 其他压缩标准介绍 214
7.6 其他图像压缩技术 215
7.6.1 基于小波变换的图像压缩 215
7.6.2 基于分形的压缩编码 217
习题 219
编程练习 219
第八章 图像分割与特征描述 220
8.1 图像边缘检测 220
8.1.1 边缘与区域 220
8.1.2 边缘模型 221
8.1.3 基本边缘检测算子 222
8.1.4 高级边缘检测算子 224
8.2 Hough变换 229
8.2.1 Hough变换的提出 229
8.2.2 Hough变换直线检测 231
8.2.3 Hough变换检测曲线 233
8.2.4 广义Hough变换 235
8.3 图像区域分割 236
8.3.1 区域分割概述 236
8.3.2 阈值分割法 237
8.3.3 区域增长法 248
8.3.4 区域分裂-合并法 252
8.3.5 数学形态学分割 254
8.4 图像特征及描述 259
8.4.1 基本几何特征 260
8.4.2 特征表示与描述 262
8.4.3 角点特征 265
8.4.4 纹理特征 273
8.4.5 其他特征描述子 282
习题 283
编程练习 285
第九章 图像融合及应用 287
9.1 信息融合概述 287
9.2 图像融合 289
9.2.1 多源图像融合 289
9.2.2 图像融合的层次 290
9.3 图像配准方法 291
9.3.1 图像配准定义 291
9.3.2 图像配准原理 292
9.3.3 图像配准设计 294
9.4 图像融合方法 297
9.4.1 空间域融合方法 298
9.4.2 颜色空间变换法 299
9.4.3 小波变换法 300
9.4.4 Ehlers融合算法 304
9.4.5 加权平均融合 306
9.4.6 基于人眼视觉特性的图像融合 307
9.5 融合质量评价 309
9.5.1 基于统计特性的评价 310
9.5.2 基于信息量的评价 310
9.5.3 基于清晰度的评价 311
9.5.4 基于信噪比的评价 312
9.5.5 基于小波变换的融合质量评价 312
9.5.6 评价指标的选取 313
习题 314
编程练习 314
第十章 成像目标检测与跟踪 316
10.1 目标检测方法 317
10.1.1 静止背景下的运动目标检测 318
10.1.2 动态背景下的目标检测 321
10.2 目标跟踪方法 327
10.2.1 波门跟踪 327
10.2.2 质心跟踪 329
10.2.3 相关跟踪 330
10.2.4 基于核密度估计的目标跟踪 331
10.2.5 基于运动状态估计的滤波跟踪 339
10.2.6 基于特征学习的目标跟踪 348
10.3 智能跟踪策略与置信度 350
10.4 光电跟踪技术应用 351
习题 352
编程练习 353
第十一章 光电探测系统及应用 354
11.1 光电成像 354
11.1.1 光电成像对人类视觉的延伸 354
11.1.2 光电成像系统的基本构成 355
11.1.3 光学滤波系统及对成像的影响 357
11.2 光电图像传感器 360
11.2.1 CCD图像传感器 360
11.2.2 CMOS图像传感器 362
11.2.3 图像传感器的发展 364
11.3 红外成像系统 365
11.3.1 红外物理基础 365
11.3.2 红外焦平面器件 366
11.3.3 红外探测系统的性能分析 368
11.3.4 红外成像探测技术 372