【www.shanpow.com--数字歇后语】
特征提取与图像处理一:特征提取与图像处理
[英]Mark S.Nixon ·电子工业·2010·2版
12345678
第一章 绪论
横截面图 cross-section
合成 synthesized
光感元分两类：视杆细胞(rod )用于黑白视觉(暗视觉).另一类是视锥细胞，用于色彩视觉(明视觉).
视锥细胞一千万，分布在中央槽五度以内。一亿视杆细胞分布在中央槽二十到五度内。
视杆细胞就一种，视锥细胞有三种：s波长m波长l波长
联合图像专家组 Joint Photographic Expert Group
运动图像专家组 Moving Picture Expert Group
图像处理的软件网站：大概最好的是General Site
General Site
Carnegie Mellon
http://www.cs.cmu.edu/afs/cs/project/cl/ftp/html/v-source.html
包括研究源码，图像处理工具箱和显示工具
Visiquest
Accusoft
http://www.accusoft.com/
(Khoros)
Hannover University
http://www.tnt.uni-hannover.de/soft/imgproc/khoros/
AdOculos*(含教材)
The Imaging Source
http://theimageingsource.com/
CVIPtool
Southern Illinois University
http://www.ee.siue.edu/CVIPtools/
LabolImage
Geneva University
http://cuiwww.unige.ch/~vision/LaboImage/labo.html
TN-Image
Thomas J. Nelson
http://brneurosci.org/tnimage.html(科学图像分析)
OpenCV
Intel
http://www.intel.com/technology/computing/opencv/index.htm
http://sourceforge.net/
VXL
国际贡献者
http://vxl.sourceforge.net/
GIL
Adobe
http://opensource.adobe.com/gil/
数学软件工具包
可用数学软件介绍
NIST
http://gams.nist.gov/
Mathcad
MathSoft
http://www.mathcad.com/
Mathematica
Wolfram Research
http://www.wolfram.com/
期刊杂志
IEEE Transaction s on:Pattern Analysis and Machine Intelligence
http://www.computer.org/portal/web/tpami
Image Processing(IP)
http://www.ieeeicip.org/
网络教材
CVOnline : 网络教材简要
Edinburgh University
http://homepages.inf.ed.ac.uk/rbf/CVonline/books.htm
网站
名称/范围
主办机构
地址
The computer Vision Homepage
Carnegie Mellon Universit
http://www.cs.cmu.edu/afs/cs/project/cil/ftp/html/vision.html
Computer Vision Online
Ediburgh University
http://www.dai.ed.ac.uk/CVonline/
Hpermedia Image Processing Reference 2
Edinburgh University
http://www.dai.ed.ac.uk/HIPR2
Image Prcessing Archive
PEIPA
http://peipa.essex.ac.uk/
3D Reconstruction
Stanford University
http://biocomp.stanford.edu/3dreconstruction/index.html
Face Recognitoin
Zagreb University
http://www.face-ree.org/
会议
计算机视觉和图像处理
Keith Price,USC
http://iris.usc.edu/Information/Iris-Conferences.html
论坛
计算机视觉
Vision List
comp.ai.vision(http://www.vislist.com/)
图像处理
sci.image.processing
第二章 图像、采样和频域处理
主要内容
子话题
要点
图像
不同点数及其数值范围的效果
灰度、颜色、分辨率，动态范围，存储
傅里叶变换理论
频域及离散图像，图像和采样分辨率
连续傅里叶变换及特性，采样标准，离散傅里叶变换，图像变换，变换对偶，逆傅里叶变换
变换方法和结果
傅里叶变换及其它变换，频域处理
平衡，旋转，尺度变化，叠加和线性理论。Walsh,Hartley,离散余弦，小波。
CMYK颜色模型分为青縁、品红、黄色和黑色。
傅里叶变换是将信号映射到分量频率的一种做法。
傅里叶变换表明时域信号是由什么频率组成的。
为了从频域信号恢复时域信号，需要进行逆傅里叶变换。
卷积运算用*标记一个信号 p1(t) 与另个信号 p2(t) 的卷积过程为：将函数p2反折，向右移动距离t ，计算p1 和反折后的p2在各点的积，并积分，得到在t处输出值。
信号系统中，输出激励p1和系统响应p2的卷积，通过反转系统响应时间轴得到p2(t-x ),从而得到记忆函数.卷积过程对激励与记忆函数相乘后的积求和,系统当前输出是对激励的累加响应。
卷积积分可以通过对两个信号变换的乘积进行逆傅里叶变换来实现。
低频带有较多信息，高频信息破坏不那么重要。
在成像系统中，景深是有限的（减少了高频成份）。
高频分量反映亮度上的变化。
离散傅里叶变换DFT
FFT只能用于图像大小为2的整数次幂的正方形图像。FFT计算成本 Ο(N2log(N)). 二维DFT计算成本 Ο(N3).
图像的傅里叶变换计算的是频率分量，每个分量的位置表示其频率：低频率分量离原点距离较近，高频率分量离原点距离较远。
二维傅里叶变换的布局是低频率分量位于变换的边角上。
如果直流位于图像中心，频率向图像边缘递增，这样空间变换比较容易可视化。通过将傅里叶变换的四个象限分别旋转180°来实现。只需要将每个图像点Px,y 与-1(x+y)相乘即可实现。
傅里叶变换性质
位移不变性 图像分解为空间频率与图像中特征的位置无关。假设将所有特征移动一定距离，或者从不同位置采集图像，其傅里叶变换的幅度不会发生变化。但相位发生变化。
旋转 傅里叶变换处理具有朝向依赖性。
频率尺度变化 时间是频率倒数。图像被压缩相当于时间缩短，而频率相应增大，其频率分量会扩展。
叠加性 判断一个系统是线性的，只要该系统对两个组合信号的反应与单个信号的反应之和相等。这个性质表明可以利用频域来分离图像。
傅里叶以外的变换
离散余弦 最优图像编码 在能量集中性方面有很大优势。
离散Hartley变换 不需要复数计算，正变换和逆变换是相同操作。
小波 可进行多分辨率分析（即不同尺度或分辨率上的分析）。可同时进行空间和频率上的削减。可进行局部空间频率分析。
阅读资料：The Fourier Transform and Its Applications (Ronald N. Bracewell)
第三章 基本图像处理运算
主要话题
子话题
内容要点
图像描述
图/直方图的亮度分量
图像对比
点运算
计算新的图像点作原图像同位置的点函数。阈值处理将灰度图像变二值表达。
直方图处理，亮度映射，加法，反转，尺度变化，对数，指数，亮度正则化，直方图均衡化，阀值处理。
群运算
计算新图像点作为原图像同位置点的近邻点的函数。该函数是统计函数，
包括：平均值，中值和模式。高级滤波技术包括特征保存。
形态学算子由二值运算到灰度运算，根据形状处理图像。
模板卷积（包括频域实现）。
统计算子：直接平均，中值滤波，模式滤波。图像平衡的异性扩散。
数学动态学：击中和未击中变换，腐蚀，膨胀（包括灰度算子）和Minkowski算子。
点算子
亮度值设置255为白色。
对数函数 降低亮度级范围，指数函数 扩大亮度级范围。
常用扩展亮度级范围的方法包括直方图（亮度）正规化。这里是指将原直方图进行扩展有位移，使直方图涵盖所有256个亮度级。matlab命令是imagesc函数。
直方图均衡化 是一个非线性处理过程，适合人类视觉分析的方法来增强图像亮度。
图像直方图处理常用的是正规化。均衡化的缺点一是受噪声影响，二是非线性不可逆。
阀值处理
阀值处理有两种形式：均一阀值和自适应阀值。
均一阀值需要灰度级知识，否则目标特征在阀值处理过程中可能无法提取。
最优阀值处理：选择一个将目标与背景分离的阀值。
Otsu方法 是将图像分割成目标和背景的阀值被选择出来的可能性最大。它只选择一个阀值，从而使图像中所有像素分离成最合适的不同类。
基本原理是利用正规化直方图，其中每个亮度级的值为该亮度级的点数除以图像总点数。
最优阀值就是类分离方差最大时的亮度级，
Otsu是自动的，不是手动的。
到目前为止我们关注的是全局方法，即对整帧图像进行处理的方法。
局部适应的方法，通常用于字符识别前的文件二值化。
图像解释的场景中存在多个目标，目标通常被遮挡的，许多目标具有相似的像素亮度范围。因此利用均一阀值处理图像，需要更精细的度量来分离目标。
群运算 是利用分组处理，根据一个像素的近邻来计算新像素值。群运算通常用模板卷积表示。
模板是一组加权系数，方形，大小是奇数，可以恰当定位。
卷积处理 NewImage = Weight*OriginImage. matlab模板卷积算子: convolve
平均算子 平均处理的是降低噪声，这是其优势，与之相关的缺点 是平均处理引起图像的模糊，从而是减少图像中的细节。
高斯平均算子 图像平滑处理最优，比直接平均保留更多特征。
中值滤波 去除椒盐噪声。找出图像背景是统计算子的应用。
模式滤波 减少噪声同时保留特征边界，这是中值滤波显著特性之一。
各向异性扩散 平滑处理的最高级形式是处理过程保留图像特征的边界。这是中值算子优势之一，也是高斯平滑算子缺陷。其原理被称为各向异性扩散。滤波是在特征范围而不是边界进行。
尺度空间 基本思想是图像具有从低分辨率（粗糙取样图像）到高分辨率（细致取样图像）的多尺度表达。
热方程 即为各向异性扩散方程。（各向同性－－高斯滤波）。扩散系数：局部变化量保留多少。参考：各向异性 perona&malik
力场变换 图像滤波算子.
反平方定律 E=I/d2；照度与距离平方成反比而与光度成正比.又称平方反比定律、逆平方律、反平方律；
如果任何一个物理定律中，某种物理量的分布或强度，会按照距离源的远近的平方反比而下降，那么这个定律就可以称为是一个反平方定律。
边界是低层特征，形状是高层特征。
数学形态学 利用集合论发展而来的算子分析图像。将图像和形状看做是点集，根据形状利用数学形态学处理图像。
形态学算子定义的是局部变换，把要表达的像素值看做集合。这种改变像素值的方式是通过定义击中或示击中变换进行形式变化的。
腐蚀算子最常见的应用之一是对阀值处理后的图像去噪。
开算子、先腐蚀再膨胀，关算子、先膨胀再腐蚀。
灰度形态学
函数集合形式有两种表达：横截面和暗影。
Minkowski算子，将集合去处变成求和以及求差运算。
第四章 低层次特征提取（边缘检测）
低层次特征是不需要任何形状信息（空间关系）就可以从图像中自动提取的基本特征。边缘检测和角点检测。
主要话题
子话题
内容要点
一阶边缘检测
边缘是什么，如何检测。一阶微分等价算子。滤波以及复杂一阶算子
差分运算；Roberts，平滑处理，Prewitt,Sobel,Canny 频域分析
二阶边缘检测
一阶和二阶微分的关系，二阶算子基础，滤波及其它运算。
二阶微分，Laplacian,过零点检测，MarrHildreth,Log,高斯差分，尺度空间。
其它边缘算子
比较
其它噪声，Spacek。其它边缘模型，Petrou
相位一致性
逆傅里叶变换，特征提取相位。边缘和特征检测的其它形式
频域分析，检测特征区域，光度不变性，小波
局部特征检测
局部低层次特征，曲率扩展到图像块。边缘信息，亮度变化，相关性。图像块检测
平面曲率，角点，曲率推测，边缘方向变化，亮度变化，harris角点检测子，sift和显著性算子
光流估计
运动和光流特征，微分方法推测光流，其它方法（移动区域法
微分检测，光流，孔径问题，平滑约束，微分方法，Horn and Schunk，相关性
一阶边缘检测算子
检测边缘位置，一阶微分可以使变化增强。水平边缘检测算子，对水平方向上的相邻点进行差分处理，可以检测垂直方向的亮度变化。由于差分值为0，水平算子不会显示水平方向上的亮度变化，可以检测出垂直边缘。
Roberts交叉算子 基础的一阶边缘检测，利用两个模板，对角线上而不是沿坐标轴方向的两个像素计算它们的差值。
Prewitt边缘检测算子 沿每个坐标轴亮度变化率。边缘强度M是微量的长度，边缘方向Θ是向量的角度。
Sobel边缘检测算子 使两个Prewitt模板中心像素的权重取2倍的值。
Canny边缘检测算子 三个主要目标：无附加响应（减少噪声响应）、距离最小的正确定位（正确性）、单响应（单个边缘点定位）。
第一个目标：canny认为 高斯算子对图像平滑处理（边缘检测）是最优的。
第二个目标：非极大值抑制返回的只是边缘数据顶脊处的那些点，而抑制其它所有点。使结果细化处理，非极大值抑制的输出是正确位置上边缘点连成的细线。
第三个目标：限制单个边缘点对于亮度变化的定位。这是因为 并非只有一条边缘表示为当前检测到的边缘。
canny 步骤：
应用高斯平滑处理
应用sobel算子
应用非极大值抑制
连接边缘点的滞后阀值处理
前两步可以由高斯模板，把一阶微分和高斯平滑结合一起进行处理。图像平滑处理后，边缘就成数据岭（边缘强度）。
非极大值抑制实际上是找到边缘强度数据中的最高点。利用边缘方向信息来处理验证是否有峰值。
滞后阀值 点的亮度值大于阀值时设为白色，达到下限阀值时设为黑色。亮度变化是单一方向的
非极大值抑制 作用是沿顶脊（iwe)选取特征点。假设顶脊点大于上限阀值，把阀值处理输出设为白色直到峰值直到小于下限阀值。然后把阀值处理输出设为黑色直到峰值直到大于上限阀值。
滞后阀值处理是递归的。先找到初始种子设为白色，然后查找其相邻点。
二阶边缘检测算子
Laplacian基础算子 是一个实现二阶微分的模板。 水平二阶算子和垂直二阶微分结合可得全Laplacian模板。计算的是一个点与四个直接近邻点的平均值之间的差。
中心权可正可负，可四相邻或八相邻，但要保证模板系数总和0，从而在亮度均匀区域不会检测到边缘。
优点：各向同性（同高斯算子）缺点：不包含平滑，会对噪声产生响应，所以基本不用Laplacian基本式。
Marr-Hildreth 算子 也是利用高斯滤波。把高斯平滑和Laplacian结合起来，得到LoG算子。LoG计算可以用高斯差分来近似。模板系数总和1.
怎样决定过零点的点？
优点：能够给出封闭的边缘边界，能够避免滞后阀值的递归计算,具有多分辨率分析能力（可在不同的尺度上检测边缘）。
变换是中心对称的，LoG忽视了低频和高频成分，相当于一个带通滤波。σ 的取值可以调节算子在空域的张开度和频域的带宽：σ 大得低通滤波。（一阶边缘检测是沿一条轴起高通/微分，另条轴起低通/平滑作用）。
所有边缘检测算子都是用滞后阀值处理来实现的。
相位一致性 是一个特征检测算子，它有两个优点：可以检测大范围的特征，对局部（和平滑）光照变化具有不变性。
一致性检测具有局部对比度不变性：即使阶梯边缘强度变小，正弦波不断叠加，其变化位置并不改变。
傅里叶分量相位最大的点确定特征 缺点： 噪声敏感 不好定位。
相位一致性关键词 频域 小波 卷积
定位特征提取
传统方法 检测图像曲率（角点提取） 局部曲率的峰值是角点。
点v(t)处曲率描述的是沿方向 φ(t)对弧长的变化。
曲率函数的计算方法
对于曲线上的每个点，都有一对正交向量v(t),n(t),它们的模数通过曲率成正比关系。n(t)垂直于v(t),曲率k(t)表示它的模数。
数字图像中的曲线 曲率计算有三种方法
计算边缘方向的差值
亮度变化计算曲率（微分）
通过相关性
亮度变化的方法 如果沿法线方向进行微分，可以使总曲率达到最大。作为蛇形模型（自主轮廓）的特征提取方法一部分。
Moravec & Harris 考虑图像P自身在特定方向上的变化来计算曲率。
现代方法 区域/图像块分析
尺度不变特性变换 SIFT 的目标是解决低层次特征提取及其在图像匹配应用中的许多实际问题。SIFT包括两个步骤：特征提取和描述。
首先，高斯算子的差值应用于图像以确定 一些可能的兴趣特征。该方法的上的是保证特征选取不依赖于特征大小（尺度）或特征朝向。
其实，对这些特征进行分析，利用局部梯度方向确定特征朝向之前确定特征的位置和尺度。
最后，把这些特征转换成一和中表达，可以处理光照变化和局部形状畸变。
显著性算子 如果一些区域不能同时在特征和尺度空间进行预测的话，该方法把这些区域看成是显著特征。
与传统方法相比，它的目标是成为一个尺度和显著性特征的通用方法，因为这两者的定义都与特殊的基本形态意义无关，这些基本形态意义不是基于粒子、边缘和角点等特殊的几何特征。该方法是通过确定某一尺度上图像块内的熵来处理的。显著性就是这些熵峰值 的加权和。
描述图像运动
基于区域的方法 运动看作是一组图像平面上的位移，位移支应的是场景中目标的投射移动，即光流。光流是时间单位上的像素移动，像素/帧。如果特征是像素，可以通过观察图像区域（即局部近邻点）亮度之间的相似度来找到对应点。
简化假设：
图像中点的亮度不变
近邻点以相同速度移动
微分方法 另一个推测运动的方法， 关注像素值的微分变化。光流和空间亮度变化率一起可以描述图像如何随时间变化。
第五章 形状匹配的特征提取（高层次）
主要话题
子话题
要点
像素运算
如何在像素层次检测特征。移动目标检测，优点和不足。形状信息
阀值处理。背景差分
模板匹配
通过匹配进行形状提取。优点和不足。有效实现。
直接实现和傅里叶实现。噪声和遮挡
霍夫变换
通过匹配进行特征提取。霍夫变换检测二次曲线，检测任意形状。不变性公式。速度和效率上的优点
证据收集进行特征提取，霍夫变换检测直线，圆。广义和不变性
阀值处理和差分
直方图均衡化的结果易受噪声阴影和光照 变化影响。
模板匹配 将模板的中心放在一个图像点上，计算模板中有多少点与图像点匹配。对整幅图像重复这一过程，那个最佳匹配点，计数最大的，就是形状（模板）在图像中的位置。
像素匹配的概率，最大似然估计等效于选择具有最小化平方差的模板位置，（模板像素点与相应的图像像素差值 的平方）
二值图像可以减小计算量。直接数字实现模板匹配的速度很慢。更快的如基于快速变换微积分的傅里叶实现。
模板匹配最主要的优势就是对噪声和遮挡的不敏感性。
傅里叶变换实现
卷积和乘法之间的对偶性 空域的乘法相当于频域的卷积
霍夫变换 HT 是一种在图像中定位形状的技术。特别是提取直线、圆和椭圆。
直线 霍夫变换通过对存储证据或者投票的累加器数组进行简单的计数，通过对每一个点追踪所有的双线完成的。追踪的每个点增量数组的一个元素，直线提取问题转化为在累加器空间中定位的最大值问题。
圆的霍夫变换
椭圆检测
广义霍夫变换
第六章 弹性形状提取（蛇模型）
主要话题
子话题
要点
可变形模板
可变形模板的匹配。最佳匹配的分析方法
能量最大化。计算方法，最优化处理
主动轮廓和蛇模型
利用轮廓演变出形状，离散和连续公式。操作方法和新主动轮廓方法
曲线演变的能量最小化。贪心算法。完全蛇模型。参数化，初始化。梯度向量场和水平集方法
形状骨架化
距离，骨架和对称性的概念及量度。证据收集方法的对称性检测应用。
距离变换和形状骨架。离散对称算子。对称点分布的证据累加。
主动形状模型
通过统计方法表达形状变化。在特征提取范围内获取形状变化。
主动形状模型。主动外观。主成分。
可变形模板
蛇模型 是使一组点（轮廓）进行演变，从而与图像数据相匹配，而不是使形状演变。
主动轮廓/蛇模型 是与特征提取完全不同的方法。主动轮廓是将目标特征即等提取特征包围起来的一组点。类似于利用一个气球来找出形状，气球放在形状外部，将形状包围在内，然后从气球将空气放出，使它慢慢变小 ，当气球停止缩小时即找出了形状，此时气球与形状完全拟合。
在目标特征的外部设置一个初始轮廓，然后对其进行演变并将目标特征包围在内。主动轮廓可以表示为能量最小化处理。目标特征是经过合理公式化的能量泛函的最小值。
能量泛函 是轮廓内部能量、其约束能量以及图像能量的相加函数。这三个能量分别标记为EINT,ECON,EIMAGE.它们是组成蛇模型v(s)的一组点，即蛇模型中所有点的x和y坐标。EINT 决定蛇模型的自然变化，从而决定蛇模型所有点的排列。图像能量EIMAGE引导蛇模型选择低层次特征（例如边缘点）。约束能量ECON给出高层次信息以控制蛇模型的演变。内部图像能量定义为轮廓周围一阶和二阶导数的加权和，一阶导数dv(s)/ds表示由伸缩而产生的能量，即弹性能量。二阶微分d2v(s)/ds2表示因弯曲而产生的能量，即曲率能量。图像能量引导蛇模型提取低层次特征，比如亮度或边缘数据，目的是选取具有最小贡献的特征。线、边缘和端点。
蛇模型的贪心算法
完全蛇模型KASS
其它蛇模型
几何主动轮廓 参数化的主动轮廓（蛇模型）很难同时对多个目标进行分割。几何主动轮廓模型，曲线用水平集函数隐式表达。
水平集方法 实质上是找出形状，但不对其进行参数化，因此曲线描述是隐式而不是显式的，把它看做是函数的零水平集。零水平集是图像中两个区域之间的接口。水平集函数是带正负号的，表示与轮廓的距离 ，内部距离设为负，外为正，轮廓本身即目标形状，其距离为零，即在两个区域之间的交界处。
参考资料 水平集两本重要的教材 Sethian,1999;Osher and Paragios ,2003
无边缘主动轮廓模型
形状骨架化
距离变换
对称性 离散对称算子
弹性形状模型：主动形状和主动外观
前面讨论的是可变形的模板或可以演变的形状，主动轮廓是弹性的，但其演变实质上受局部曲率或边缘强度等局部特征的限制。
弹性模板 利用从训练数据样例形成的整体形状约束，考虑图像库中是否包含该形状的所有可能变化。其中最主要的方法是主动形状建模，关注由点组成的形状模型，点的变化称为点分布模型，所选地标点在训练图像中标记，顺序标记很重要。主成分分析将数据压缩成最重要项。
应用过程（找出被建模形状的实例）是利用迭代方法，使模型和图像中匹配点不断增多。可以通过检测模型点周围区域以确定最佳近邻匹配来实现。对数据的最佳拟合模型计算适当的平移、缩放和旋转和特征向量。不断重复以上处理直到模型对数据收敛。
主动形状模型ASM 由于只改变形状以更好地拟合数据，并且形状受所期望的形状外观控制，所以这种模型被称为主动形状模型ASM
主动外观模型AAM 包括纹理，通过重复搜索处理对纹理进行匹配来更新模型参数，使地标点向图像点靠近。
ASM利用的是点附近的纹理信息，AAM利用的是整个区域的纹理信息。
ASM想要得到模型点与相应图像点之间的最小距离 ，AAM要合成模型与目标图像间的最小距离。
AAM在当前点附近，尤其在垂直于边界的轮廓上进行搜索，而AAM只考虑当前位置的图像。
参考资料
蛇模型在医学图像像的弹性提取综述McInerney and Terzopolous 1996
医学图像分析的历史综述Duncan and Ayache 2000
Cootes教授的网站：关于弹性形状建模的详细资料 http://www.isbe.man.ac.uk/~bim/
用于图像分割的水平集方法Cremers et al.2007
第七章 目标描述
主要话题
子话题
要点
边界描述
如何确定边界及所办公室的区域，如何形成区域描述及必要的特征，用傅里叶方法
基本方法：链码。傅里叶描述符：离散近似。累加角函数和椭圆傅里叶描述
区域描述
如何描述形状区域。基础形状量度：启发法及特征。利用统计矩表述区域：不变性及复杂描述。重构
基本形状度量；面积、周长。紧凑度，离散性。矩：基本矩，中心矩，不变矩。Zernike矩
边界描述
区域描述的是边界所包围的内容（内部点）。
边界被称为区域轮廓，指它的形状。如果一个点在区域内，它还有一个邻像素在区域外，那这个点就是边界（轮廓）上的点。
区域内部点和边界点通过四连通或八连通来描述。它们是互补的，如果边界像素是四连通，那区域像素就是八连通，反之亦然。
链码 只存储连续像素之间的相关位置。方向数字串
傅里叶描述符 利用表示形状整体频率分量的一组数字来描述轮廓特征。首先要定义一个曲线表达。其次，利用傅里叶理论将其展开 。
基本原理 傅里叶分量（直流分量）的第一个成分只是x和y坐标的平均值，它是以复数形式表示的边界中心点的坐标。第二个成分所给出的是最适合这些点的圆的半径。因此，圆可以用零阶和一阶成分（直流分量和第一个谐波）来进行描述。零阶分量给出是形状的位置（圆点）。椭圆可以加入所有空间分量来重构
傅里叶展开式 基底（、拉格朗日、牛顿插值），傅里叶展开的主要特征是定义了一组正交基。
移动不变性 链码要特别关注的是得到起点不变性。主要在于曲线移动时描述符是否会改变。
离散计算 离散化具有两个作用，首先可以限制展开式中频率的数量，其次，它对定义傅里叶系数的积分进行数值化近似。
累积角函数 曲线上一点的累积角函数定义为从起始点开始的角度变化量。由于它表示每个点角度变化的总和，被 称为累积。累积角函数避免了角函数的不连续性。
椭圆傅里叶描述符 累积角函数把曲线的二维描述变换成适合傅里叶分析 一维周期函数。而椭圆傅里叶描述符保持曲线在二维空间的描述。通过考虑图像空间定义的是复平面来实现。每个像素定义为一个复数。
椭圆傅里叶描述符的不变性
区域描述符 基本区域描述符是对区域的几何属性进行特征化，矩所关注的是区域的密度。
基本区域描述符 面积 周长
紧凑度 是周长和面积的比值。
离散性（不规则性） 是最大弦长与面积比。对于不规则形状，这个比值变大，而紧凑度减小。
矩 矩描述的是形状的构图（像素排列）。矩是形状的全面描述，具有傅里叶描述同样的优势，具有选择性（自带的识别和过滤噪声的能力）。
不变矩 中心矩只具有平衡不变性，不对应其他外观转换。为得到尺度和旋转不变性，需要正规化中心矩。
Zernike矩 可以实现不变性，它给出旋转不变矩的一个正交系。大小保持旋转不变性，它只对相位有影响。可以通过正规化实现尺度不变性。另个优势是存在一个重构定理。原形状f可以通过其矩和Zernike多项式重构。
图像的傅里叶变换可以通过其矩推导出来。
样条是用来对不同分区内的特征进行建模的区间函数。有二次和三次形式。蛇模型是一种能量最小化样条。
第八章 纹理描述、分割和分类基础
主要话题
子话题
要点
纹理描述
如何确定几组数值来识别纹理
特征提取，傅里叶变换，共生矩阵，区域，特征描述，能量，熵和惯性
纹理分类
如何将所得数值与已知纹理相联系
k近邻法则，支持向量机及其它分类
纹理分割
如何在图像范围找出纹理区域
卷积计算，平铺处理，阀值处理。
第九章 工作表
第十章 射影几何
第十一 最小二乘
估计理论的基础
第十二 主成分分析
pricipal components analysis PCA 也KL变换或者Hotelling变换。它是以线性代数因式分解为基础，因式分解通常用于将矩阵对角化，它的逆容易求得。数据变换对分类和压缩尤其有用。
PCA 收集数据并进行变换，使新的数据具有给定的统计特征。选择统计特性是为了使变换突出数据元素的重要性。PCA技术变换特征向量以定义新向量，新向量定义了具有更好的分类能力的成分。PCA确保我们突出了那些数据根据协方差衡量具有最大变化的数据。
协方差表示两个随机变量之间线性相关性。协方差衡量的是线性关系，线性通常是PCA的主要局限。
协方差矩阵
数据变换
逆变换
特征值问题
PCA运算步骤
特征提取与图像处理二:关于图像特征提取
关于图像特征提取
分类： 图像处理与识别 2010-06-23 14:09 1141人阅读 评论(4) 收藏 举报
网上发现一篇不错的文章，是关于图像特征提取的，发出来供大家参考。
特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。
特征的定义
至今为止特征没有万能和精确的定义。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分，它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征提取最重要的一个特性是“可重复性”：同一场景的不同图像所提取的特征应该是相同的。
特征提取是图象处理中的一个初级运算，也就是说它是对一个图像进行的第一个运算处理。它检查每个像素来确定该像素是否代表一个特征。假如它是一个更大的算法的一部分，那么这个算法一般只检查图像的特征区域。作为特征提取的一个前提运算，输入图像一般通过高斯模糊核在尺度空间中被平滑。此后通过局部导数运算来计算图像的一个或多个特征。
有时，假如特征提取需要许多的计算时间，而可以使用的时间有限制，一个高层次算法可以用来控制特征提取阶层，这样仅图像的部分被用来寻找特征。
由于许多计算机图像算法使用特征提取作为其初级计算步骤，因此有大量特征提取算法被发展，其提取的特征各种各样，它们的计算复杂性和可重复性也非常不同。
边缘 边缘是组成两个图像区域之间边界（或边缘）的像素。一般一个边缘的形状可以是任意的，还可能包括交叉点。在实践中边缘一般被定义为图像中拥有大的梯度的点组成的子集。一些常用的算法还会把梯度高的点联系起来来构成一个更完善的边缘的描写。这些算法也可能对边缘提出一些限制。
局部地看边缘是一维结构。
角 角是图像中点似的特征，在局部它有两维结构。早期的算法首先进行边缘检测，然后分析边缘的走向来寻找边缘突然转向（角）。后来发展的算法不再需要边缘检测这个步骤，而是可以直接在图像梯度中寻找高度曲率。后来发现这样有时可以在图像中本来没有角的地方发现具有同角一样的特征的区域。
区域 与角不同的是区域描写一个图像中的一个区域性的结构，但是区域也可能仅由一个像素组成，因此许多区域检测也可以用来监测角。一个区域监测器检测图像中一个对于角监测器来说太平滑的区域。区域检测可以被想象为把一张图像缩小，然后在缩小的图像上进行角检测。
脊 长条形的物体被称为脊。在实践中脊可以被看作是代表对称轴的一维曲线，此外局部针对于每个脊像素有一个脊宽度。从灰梯度图像中提取脊要比提取边缘、角和区域困难。在空中摄影中往往使用脊检测来分辨道路，在医学图像中它被用来分辨血管。
特征抽取 特征被检测后它可以从图像中被抽取出来。这个过程可能需要许多图像处理的计算机。其结果被称为特征描述或者特征向量。
常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。
一 颜色特征
（一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。
（二）常用的特征提取与匹配方法
（1） 颜色直方图
其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。
最常用的颜色空间：RGB颜色空间、HSV颜色空间。
颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。
（2） 颜色集
颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从 RGB颜色空间转化成视觉均衡的颜色空间（如 HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系
（3） 颜色矩
这种方法的数学基础在于：图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。
（4） 颜色聚合向量
其核心思想是：将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。
（5） 颜色相关图
二 纹理特征
（一）特点：纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理。
例如，水中的倒影，光滑的金属面互相反射造成的影响等都会导致纹理的变化。由于这些不是物体本身的特性，因而将纹理信息应用于检索时，有时这些虚假的纹理会对检索造成“误导”。
在检索具有粗细、疏密等方面较大差别的纹理图像时，利用纹理特征是一种有效的方法。但当纹理之间的粗细、疏密等易于分辨的信息之间相差不大的时候，通常的纹理特征很难准确地反映出人的视觉感觉不同的纹理之间的差别。
（二）常用的特征提取与匹配方法
纹理特征描述方法分类
（1）统计方法统计方法的典型代表是一种称为灰度共生矩阵的纹理特征分析方法Gotlieb 和 Kreyszig 等人在研究共生矩阵中各种统计特征基础上，通过实验，得出灰度共生矩阵的四个关键特征：能量、惯量、熵和相关性。统计方法中另一种典型方法，则是从图像的自相关函数（即图像的能量谱函数）提取纹理特征，即通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性等特征参数
（2）几何法
所谓几何法，是建立在纹理基元（基本的纹理元素）理论基础上的一种纹理特征分析方法。纹理基元理论认为，复杂的纹理可以由若干简单的纹理基元以一定的有规律的形式重复排列构成。在几何法中，比较有影响的算法有两种：Voronio 棋盘格特征法和结构法。
（3）模型法
模型法以图像的构造模型为基础，采用模型的参数作为纹理特征。典型的方法是随机场模型法，如马尔可夫（Markov）随机场（MRF）模型法和 Gibbs 随机场模型法
（4）信号处理法
纹理特征的提取与匹配主要有：灰度共生矩阵、Tamura 纹理特征、自回归纹理模型、小波变换等。
灰度共生矩阵特征提取与匹配主要依赖于能量、惯量、熵和相关性四个参数。Tamura 纹理特征基于人类对纹理的视觉感知心理学研究，提出6种属性，即：粗糙度、对比度、方向度、线像度、规整度和粗略度。自回归纹理模型（simultaneous auto-regressive, SAR）是马尔可夫随机场（MRF）模型的一种应用实例。
三 形状特征
（一）特点：各种基于形状特征的检索方法都可以比较有效地利用图像中感兴趣的目标来进行检索，但它们也有一些共同的问题，包括：①目前基于形状的检索方法还缺乏比较完善的数学模型；②如果目标有变形时检索结果往往不太可靠；③许多形状特征仅描述了目标局部的性质，要全面描述目标常对计算时间和存储量有较高的要求；④许多形状特征所反映的目标形状信息与人的直观感觉不完全一致，或者说，特征空间的相似性与人视觉系统感受到的相似性有差别。另外，从 2-D 图像中表现的 3-D 物体实际上只是物体在空间某一平面的投影，从 2-D 图像中反映出来的形状常不是 3-D 物体真实的形状，由于视点的变化，可能会产生各种失真。
（二）常用的特征提取与匹配方法
Ⅰ几种典型的形状特征描述方法
通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。
几种典型的形状特征描述方法：
（1）边界特征法该方法通过对边界特征的描述来获取图像的形状参数。其中Hough 变换检测平行直线方法和边界方向直方图方法是经典方法。Hough 变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法，其基本思想是点—线的对偶性；边界方向直方图法首先微分图像求得图像边缘，然后，做出关于边缘大小和方向的直方图，通常的方法是构造图像灰度梯度方向矩阵。
（2）傅里叶形状描述符法
傅里叶形状描述符(Fourier shape deors)基本思想是用物体边界的傅里叶变换作为形状描述，利用区域边界的封闭性和周期性，将二维问题转化为一维问题。
由边界点导出三种形状表达，分别是曲率函数、质心距离、复坐标函数。
（3）几何参数法
形状的表达和匹配采用更为简单的区域特征描述方法，例如采用有关形状定量测度（如矩、面积、周长等）的形状参数法（shape factor）。在 QBIC 系统中，便是利用圆度、偏心率、主轴方向和代数不变矩等几何参数，进行基于形状特征的图像检索。
需要说明的是，形状参数的提取，必须以图像处理及图像分割为前提，参数的准确性必然受到分割效果的影响，对分割效果很差的图像，形状参数甚至无法提取。
（4）形状不变矩法
利用目标所占区域的矩作为形状描述参数。
（5）其它方法
近年来，在形状的表示和匹配方面的工作还包括有限元法（Finite Element Method 或 FEM）、旋转函数（Turning ）和小波描述符（Wavelet Deor）等方法。
Ⅱ 基于小波和相对矩的形状特征提取与匹配
该方法先用小波变换模极大值得到多尺度边缘图像，然后计算每一尺度的 7个不变矩，再转化为 10 个相对矩，将所有尺度上的相对矩作为图像特征向量，从而统一了区域和封闭、不封闭结构。
四 空间关系特征
（一）特点：所谓空间关系，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。通常空间位置信息可以分为两类：相对空间位置信息和绝对空间位置信息。前一种关系强调的是目标之间的相对情况，如上下左右关系等，后一种关系强调的是目标之间的距离大小以及方位。显而易见，由绝对空间位置可推出相对空间位置，但表达相对空间位置信息常比较简单。
空间关系特征的使用可加强对图像内容的描述区分能力，但空间关系特征常对图像或目标的旋转、反转、尺度变化等比较敏感。另外，实际应用中，仅仅利用空间信息往往是不够的，不能有效准确地表达场景信息。为了检索，除使用空间关系特征外，还需要其它特征来配合。
（二）常用的特征提取与匹配方法
提取图像空间关系特征可以有两种方法：一种方法是首先对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引；另一种方法则简单地将图像均匀地划分为若干规则子块，然后对每个图像子块提取特征，并建立索引。 姿态估计问题就是：确定某一三维目标物体的方位指向问题。姿态估计在机器人视觉、动作跟踪和单照相机定标等很多领域都有应用。
在不同领域用于姿态估计的传感器是不一样的，在这里主要讲基于视觉的姿态估计。
基于视觉的姿态估计根据使用的摄像机数目又可分为单目视觉姿态估计和多目视觉姿态估计。根据算法的不同又可分为基于模型的姿态估计和基于学习的姿态估计。
一基于模型的姿态估计方法
基于模型的方法通常利用物体的几何关系或者物体的特征点来估计。其基本思想是利用某种几何模型或结构来表示物体的结构和形状，并通过提取某些物体特征，在模型和图像之间建立起对应关系，然后通过几何或者其它方法实现物体空间姿态的估计。这里所使用的模型既可能是简单的几何形体，如平面、圆柱，也可能是某种几何结构，也可能是通过激光扫描或其它方法获得的三维模型。
基于模型的姿态估计方法是通过比对真实图像和合成图像，进行相似度计算更新物体姿态。目前基于模型的方法为了避免在全局状态空间中进行优化搜索，一般都将优化问题先降解成多个局部特征的匹配问题，非常依赖于局部特征的准确检测。当噪声较大无法提取准确的局部特征的时候，该方法的鲁棒性受到很大影响。
二基于学习的姿态估计方法
基于学习的方法借助于机器学习(machine learning)方法，从事先获取的不同姿态下的训练样本中学习二维观测与三维姿态之间的对应关系，并将学习得到的决策规则或回归函数应用于样本，所得结果作为对样本的姿态估计。基于学习的方法一般采用全局观测特征，不需检测或识别物体的局部特征，具有较好的鲁棒性。其缺点是由于无法获取在高维空间中进行连续估计所需要的密集采样，因此无法保证姿态估计的精度与连续性。
基于学习的姿态估计方法源于姿态识别方法的思想。姿态识别需要预先定义多个姿态类别，每个类别包含了一定的姿态范围；然后为每个姿态类别标注若干训练样本，通过模式分类的方法训练姿态分类器以实现姿态识别。
这一类方法并不需要对物体进行建模，一般通过图像的全局特征进行匹配分析，可以有效的避免局部特征方法在复杂姿态和遮挡关系情况下出现的特征匹配歧义性问题。然而姿态识别方法只能将姿态划分到事先定义的几个姿态类别中，并不能对姿态进行连续的精确的估计。
基于学习的方法一般采用全局观测特征，可以保证算法具有较好的鲁棒性。然而这一类方法的姿态估计精度很大程度依赖于训练的充分程度。要想比较精确地得到二维观测与三维姿态之间的对应关系，就必须获取足够密集的样本来学习决策规则和回归函数。而一般来说所需要样本的数量是随状态空间的维度指数级增加的，对于高维状态空间，事实上不可能获取进行精确估计所需要的密集采样。因此，无法得到密集采样而难以保证估计的精度与连续性，是基于学习的姿态估计方法无法克服的根本困难。
和姿态识别等典型的模式分类问题不同的是，姿态估计输出的是一个高维的姿态向量，而不是某个类别的类标。因此这一类方法需要学习的是一个从高维观测向量到高维姿态向量的映射，目前这在机器学习领域中还是一个非常困难的问题。
特征是描述模式的最佳方式，且我们通常认为特征的各个维度能够从不同的角度描述模式，在理想情况下，维度之间是互补完备的。
特征提取的主要目的是降维。特征抽取的主要思想是将原始样本投影到一个低维特征空间，得到最能反应样本本质或进行样本区分的低维样本特征。
一般图像特征可以分为四类：直观性特征、灰度统计特征、变换系数特征与代数特征。
直观性特征主要指几何特征，几何特征比较稳定，受人脸的姿态变化与光照条件等因素的影响小，但不易抽取，而且测量精度不高，与图像处理技术密切相关。
代数特征是基于统计学习方法抽取的特征。代数特征具有较高的识别精度，代数特征抽取方法又可以分为两类：一种是线性投影特征抽取方法；另外一种是非线性特征抽取方法。
习惯上，将基于主分量分析和Fisher线性鉴别分析所获得的特征抽取方法，统称为线性投影分析。
基于线性投影分析的特征抽取方法，其基本思想是根据一定的性能目标来寻找一线性变换，把原始信号数据压缩到一个低维子空间，使数据在子空间中的分布更加紧凑，为数据的更好描述提供手段，同时计算的复杂度得到大大降低。在线性投影分析中，以主分量分析（PCA，或称K-L变换）和Fisher线性鉴别分析（LDA）最具代表性，围绕这两种方法所形成的特征抽取算法，已成为模式识别领域中最为经典和广泛使用的方法。
线性投影分析法的主要缺点为：需要对大量的已有样本进行学习，且对定位、光照与物体非线性形变敏感，因而采集条件对识别性能影响较大。
非线性特征抽取方法也是研究的热点之一。“核技巧”最早应用在SVM中，KPCA和KFA是“核技巧”的推广应用。
核投影方法的基本思想是将原样本空间中的样本通过某种形式的非线性映射，变换到一个高维甚至无穷维的空间，并借助于核技巧在新的空间中应用线性的分析方法求解。由于新空间中的线性方向也对应原样本空间的非线性方向，所以基于核的投影分析得出的投影方向也对应原样本空间的非线性方向。
核投影方法也有一些弱点：几何意义不明确，无法知道样本在非显式映射后变成了什么分布模式；核函数中参数的选取没有相应选择标准，大多数只能采取经验参数选取；不适合训练样本很多的情况，原因是经过核映射后，样本的维数等于训练样本的个数，如果训练样本数目很大，核映射后的向量维数将会很高，并将遇到计算量上的难题。
就应用领域来说，KPCA远没有PCA应用的广泛。如果作为一般性的降维KPCA确实比PCA效果好，特别是特征空间不是一般的欧式空间的时候更为明显。PCA可以通过大量的自然图片学习一个子空间，但是KPCA做不到。
变换系数特征指先对图像进行Fourier变换、小波变换等，得到的系数后作为特征进行识别。
特征提取与图像处理三:【计算机视觉】傅立叶变换在图像处理中的作用
【计算机视觉】傅立叶变换在图像处理中的作用2012年07月29日 02:02:37
傅立叶变换在图像处理中有非常非常的作用。因为不仅傅立叶分析涉及图像处理的很多方面，傅立叶的改进算法， 比如离散余弦变换，gabor与小波在图像处理中也有重要的分量。 印象中，傅立叶变换在图像处理以下几个话题都有重要作用：1.图像增强与图像去噪绝大部分噪音都是图像的高频分量，通过低通滤波器来滤除高频——噪声; 边缘也是图像的高频分量，可以通过添加高频分量来增强原始图像的边缘；2.图像分割之边缘检测提取图像高频分量3.图像特征提取：形状特征：傅里叶描述子纹理特征：直接通过傅里叶系数来计算纹理特征其他特征：将提取的特征值进行傅里叶变换来使特征具有平移、伸缩、旋转不变性4.图像压缩可以直接通过傅里叶系数来压缩数据；常用的离散余弦变换是傅立叶变换的实变换；傅立叶变换 傅里叶变换是将时域信号分解为不同频率的正弦信号或余弦函数叠加之和。连续情况下要求原始信号在一个周期内满足绝对可积条件。离散情况下，傅里叶变换一定存在。冈萨雷斯版<图像处理>里面的解释非常形象：一个恰当的比喻是将傅里叶变换比作一个玻璃棱镜。棱镜是可以将光分解为不同颜色的物理仪器，每个成分的颜色由波长（或频率）来决定。傅里叶变换可以看作是数学上的棱镜，将函数基于频率分解为不同的成分。当我们考虑光时,讨论它的光谱或频率谱。同样,傅立叶变换使我们能通过频率成分来分析一个函数。傅立叶变换有很多优良的性质。比如线性，对称性（可以用在计算信号的傅里叶变换里面）; 时移性：函数在时域中的时移，对应于其在频率域中附加产生的相移，而幅度频谱则保持不变； 频移性：函数在时域中乘以e^jwt，可以使整个频谱搬移w。这个也叫调制定理，通讯里面信号的频分复用需要用到这个特性（将不同的信号调制到不同的频段上同时传输）；卷积定理：时域卷积等于频域乘积；时域乘积等于频域卷积（附加一个系数）。（图像处理里面这个是个重点） 信号在频率域的表现 在频域中，频率越大说明原始信号变化速度越快；频率越小说明原始信号越平缓。当频率为0时，表示直流信号，没有变化。因此，频率的大小反应了信号的变化快慢。高频分量解释信号的突变部分，而低频分量决定信号的整体形象。 在图像处理中，频域反应了图像在空域灰度变化剧烈程度，也就是图像灰度的变化速度，也就是图像的梯度大小。对图像而言，图像的边缘部分是突变部分，变化较快，因此反应在频域上是高频分量；图像的噪声大部分情况下是高频部分；图像平缓变化部分则为低频分量。也就是说，傅立叶变换提供另外一个角度来观察图像，可以将图像从灰度分布转化到频率分布上来观察图像的特征。书面一点说就是，傅里叶变换提供了一条从空域到频率自由转换的途径。对图像处理而言，以下概念非常的重要： 图像高频分量：图像突变部分；在某些情况下指图像边缘信息，某些情况下指噪声，更多是两者的混合；低频分量：图像变化平缓的部分，也就是图像轮廓信息高通滤波器：让图像使低频分量抑制，高频分量通过低通滤波器：与高通相反，让图像使高频分量抑制，低频分量通过带通滤波器：使图像在某一部分的频率信息通过，其他过低或过高都抑制还有个带阻滤波器，是带通的反。模板运算与卷积定理在时域内做模板运算，实际上就是对图像进行卷积。模板运算是图像处理一个很重要的处理过程，很多图像处理过程，比如增强/去噪（这两个分不清楚），边缘检测中普遍用到。根据卷积定理，时域卷积等价与频域乘积。因此，在时域内对图像做模板运算就等效于在频域内对图像做滤波处理。比如说一个均值模板，其频域响应为一个低通滤波器；在时域内对图像作均值滤波就等效于在频域内对图像用均值模板的频域响应对图像的频域响应作一个低通滤波。图像去噪 图像去噪就是压制图像的噪音部分。因此，如果噪音是高频额，从频域的角度来看，就是需要用一个低通滤波器对图像进行处理。通过低通滤波器可以抑制图像的高频分量。但是这种情况下常常会造成边缘信息的抑制。常见的去噪模板有均值模板，高斯模板等。这两种滤波器都是在局部区域抑制图像的高频分量，模糊图像边缘的同时也抑制了噪声。还有一种非线性滤波-中值滤波器。中值滤波器对脉冲型噪声有很好的去掉。因为脉冲点都是突变的点，排序以后输出中值，那么那些最大点和最小点就可以去掉了。中值滤波对高斯噪音效果较差。 椒盐噪声：对于椒盐采用中值滤波可以很好的去除。用均值也可以取得一定的效果，但是会引起边缘的模糊。高斯白噪声：白噪音在整个频域的都有分布，好像比较困难。冈萨雷斯版图像处理P185：算术均值滤波器和几何均值滤波器（尤其是后者）更适合于处理高斯或者均匀的随机噪声。谐波均值滤波器更适合于处理脉冲噪声。图像增强 有时候感觉图像增强与图像去噪是一对矛盾的过程，图像增强经常是需要增强图像的边缘，以获得更好的显示效果，这就需要增加图像的高频分量。而图像去噪是为了消除图像的噪音，也就是需要抑制高频分量。有时候这两个又是指类似的事情。比如说，消除噪音的同时图像的显示效果显著的提升了，那么，这时候就是同样的意思了。常见的图像增强方法有对比度拉伸，直方图均衡化，图像锐化等。前面两个是在空域进行基于像素点的变换，后面一个是在频域处理。我理解的锐化就是直接在图像上加上图像高通滤波后的分量，也就是图像的边缘效果。对比度拉伸和直方图均衡化都是为了提高图像的对比度，也就是使图像看起来差异更明显一些，我想，经过这样的处理以后，图像也应该增强了图像的高频分量，使得图像的细节上差异更大。同时也引入了一些噪音。
