CV-2020-笔记:03 特征(Features)中
文章目录
CV-2020-笔记:03 特征(Features)--中
计算机视觉课程学习笔记
教材:Computer Vision: Algorithms and Applications, 2010
"FORTRAN is not a flower but a weed — it is hardy, occasionally blooms, and grows in every computer."—— Alan J. Perlis(第一位图灵奖得主1966年,ALGOL语言和计算机科学的“催生者”)
4. 图像描述子(Image Descriptors)
形状描述子(Shape Descriptors)
Shape Context
-
论文:Serge Belongie, NIPS 2000, ICCV 2001, PAMI 2002
-
概述:
-
目标:
- 形状匹配和孤立对象识别 (Shape matching and isolated object recognition)
- 通用对象分类 (General Object Categorization)
- 非刚体弹性变形
-
基本想法:
- 找点在形状上的对应(Find correspondences between points on shapes)
- 估计对齐转换(Estimate aligning transformation)
-
相似度度量(Measure dissimilarity)
- $\sum$(matching errors) + magnitude of aligning transform
-
-
相关工作/溯源:可变形模版(Deformable Templates)
- Energy minimization in a mass-spring model, Fischler and Elschlager(1973)
- Probabilistic model, Grenader et al(1991)
- Model fitting using Gradient descent, Yuille(1991)
- Elastic graph matching, Lades et al(1993)
- DPM, The Representation and Matching of Pictorial Structures(1973)
-
形状匹配
- 基于特征:利用特征间的关系(边缘、距离、几何哈希、决策树...)
- 基于亮度:直接利用像素点的亮度(如基于灰度值的配准方法,SVMs,神经网络...)
-
核心概念:寻找对应(Find Corrrespondences)
-
沿形状轮廓采样
- 不需要标记点或曲率极限(Need not be landmark points or curvature extrema)
- 统一的间距(uniform spacing)
- 采样点越多越好
- 使用形状上下文作为形状描述子(Use shape context as shape descriptor)
- 与点集比较
-
-
Shape Context
- 具有相当数量的局部描述子
- 以每个点相对位置信息的分布作为形状的表达
- 对每个采样点$p_i$,计算剩下$n-1$个点相对坐标位置的直方图$h_i$:
$h_i(k)=\#\{q\neq p_i:(q-p_i)\in bin(k)\}$
- 用对数坐标空间处理距离(Bins uniform in log-polar space)
-
计算
- 描述子

- 描述子比较

-
寻找对应(Find Correspondences)
- 使用$\chi^2$分布来计算匹配代价(matching costs)
$C_{ij}=C(p_i,q_j)=\frac{1}{2}\sum^K_{k=1}\frac{[h_i(k)-h_j(k)]^2}{h_i(k)-h_j(k)}$
- 可以加入局部外观相似性(local appearance similarity)
- 最小化总匹配代价:$H(\pi)=\sum_iC(p_i,q_{\pi(i)})$
- 加权二分图匹配问题(Weighted bipartite graph matching problem)
- 使用$\chi^2$分布来计算匹配代价(matching costs)
-
计算距离
- Shape Context Distance: $D_{sc}(P,Q)=\frac{1}{n}\sum_{p\in P}\arg\min_{q\in Q}C(p,T(q))+\frac{1}{m}\sum_{q\in Q}\arg\min_{p\in P}C(q,T(p))$
- Image Appearance Distance:
$D_{ac}(P,Q)=\frac{1}{n}\sum^n_{i=1}\sum_{\Delta\in Z^2}G(\Delta)[I_p(p_i+\Delta)-I_Q(T(q_{\pi(i)})+\Delta)]^2$
- Bending (TPS) Energy: $D_{be}=W^TKW$
- Shape Distance: $D(P,Q)=\alpha D_{sc}(P,Q)+\beta D_{ac}(P,Q)+\gamma D_{be}(P,Q)$
其他形状描述子
- Local Self-Similarities Descriptor: Eli Shechtman, Michal Irani, Matching Local Self-Similarities across Images and Videos, CVPR 2007.
- Geometry Blur: AC Berg, J Malik, Geometric blur for template matching,
梯度描述子的直方图(Histograms of Oriented Gradients Descriptors)
SIFT方法
- SIFT(尺度不变特征转换,David Lowe, Scale Invariant Feature Transform)
-
论文:David Lowe, Scale Invariant Feature Transform
-
SIFT的四个步骤:
- Scale-space Extrema Detection 在尺度空间上寻找局部极值点,成为特征的候选点(potential interest points);
- Keypoint localization 基于稳定性(stability)筛选极值点;
- Orientation assignment 计算特征的朝向;
- Keypoint descriptor 取特征点的描述子。
-
SIFT特点:
- SIFT将图像数据转换成尺度不变的坐标;
- 具有尺度不变性,同时改变旋转角度、图像亮度或拍摄视角下仍会有好的检测效果;
- 对遮挡、杂乱或噪声不敏感;
- 生成大量的特征,密集覆盖在图像的各个尺度空间和各个位置;
- 生成的特征十分独特,使得单个特征在大型特征集中能大概率地被正确匹配。
SURF
-
SURF:H. Bay, Speeded Up Robust Features
-
SURF和SIFT
- SIFT和SURF算法使用的特征检测方法略有不同;
- SIFT建立了一个图像金字塔(pyramids),使用含有$\sigma$值的高斯函数过滤每一层,并取差值;
- SURF创建了没有$2:1$比例向下采样的栈,在金字塔的更高层上产生了相同分辨率的图下图像;
- SURF使用完整的图像来检测和描述与SIFT中类似的特征;
-
图片尺度、大小
- 在sift算法中,同一个octave层中的图片尺寸(即大小)相同,但是尺度(即模糊程度)不同,而不同的octave层中的图片尺寸大小也不相同,因为它是由上一层图片降采样得到的。在进行高斯模糊时,sift的高斯模板大小是始终不变的,只是在不同的octave之间改变图片的大小。
- 而在surf中,图片的大小是一直不变的,图像尺度的改变是通过改变高斯滤波器尺寸实现的。尺度空间的分组时,相邻octave首尺度滤波器大小之差相差2倍。如第一二组差6,则二三组差12。为了减少计算时间,第一组采样间隔1像素,第二组2像素,以此倍增。
-
特征点主方向
- Sift选取特征点主方向是采用在特征点领域内统计其梯度直方图,取直方图bin值最大的以及超过最大bin值80%的那些方向做为特征点的主方向。而在surf中,不统计其梯度直方图,而是统计特征点邻域内的harr小波特征。即在特征点的邻域(比如说,半径为6s的圆内,s为该点所在的尺度)内,统计60,haar小波的尺寸变长为4s,这样一个扇形得度扇形内所有点的水平haar小波特征和垂直haar小波特征总和到了一个值。然后60度扇形以一定间隔进行旋转,最后将最大值那个扇形的方向作为该特征点的主方向。
- 在opencv实现的函数里,圆形区域用方形区域替代。在计算描述子的方形中边长是2020,实际选取时是2121,以特征点为中心。另外由于矩形特征计算的缘故,边缘部分的几个像素不计算。
-
描述子
- 在sift中,是在特征点周围取16*16的邻域,并把该领域化为4*4个的小区域,每个小区域统计8个方向梯度,最后得到4*4*8=128维的向量,该向量作为该点的sift描述子。
- 在surf中,也是在特征点周围取一个正方形框,框的边长为20s(s是所检测到该特征点所在的尺度)。该框带方向,方向当然就是第4步检测出来的主方向了。然后把该框分为16个子区域,每个子区域统计25个像素的水平方向和垂直方向的haar小波特征,这里的水平和垂直方向都是相对主方向而言的。该haar小波特征为水平方向值之和,水平方向绝对值之和,垂直方向之和,垂直方向绝对值之和。每个特征点就是16*4=64维的向量。
-
效果
- SURF描述图像的速度比SIFT快3倍;
- 对于光照变化和视点变换,SURF不如SIFT不变性好
其他方法
-
GLOH(C. Schmid, K. Mikolajczyk)
- A performance evaluation of local descriptors. PAMI, 2005
- 与SIFT相似,将特征划分为log-polar分区而不是方形分区。
-
HOG(N Dalal, histogram of oriented gradient)
- Histograms of oriented gradients for human detection, CVPR2005.
- Cell、Block、Stride
-
LBP(T Ojala, M Pietikäinen. LBP: Local binary Pattern)
- Gray Scale and Rotation Invariant Texture Classification with Local Binary Patterns, ECCV 2000.
- Face description with local binary patterns: Application to face recognition, PAMI 2006. Cited by 284.
- 优点:光照变化不变性好、计算简单
- 缺点:在如天空的平面图像区域不是很稳定
颜色描述子(Color Descriptors)
颜色空间
- 颜色空间:RGB, HSV, Opponent
-
Opponent 颜色空间
$$ \begin{pmatrix}O_1\\O_2\\O_3\end{pmatrix} = \begin{pmatrix}\frac{R-G}{\sqrt{2}}\\ \frac{R+G-2B}{\sqrt{6}}\\ \frac{R+G+B}{\sqrt{3}}\end{pmatrix} $$
- $O_3$通道表示强度信息(intensity information);
- $O_1$、$O_2$通道显示颜色信息;
-
$O_1$、$O_2$通道不会因偏移而改变:
$$ \begin{pmatrix}O_1\\O_2\end{pmatrix}= \begin{pmatrix}\frac{R^e-G^e}{\sqrt{2}}\\\frac{R^e+G^e-2B^e}{\sqrt{6}}\end{pmatrix}= \begin{pmatrix}\frac{R^u+o_1)-(G^u+o_1)}{\sqrt{2}}\\\frac{R^u+o_1)+(G^u+o_1)-2(B^u+o_1)}{\sqrt{6}}\end{pmatrix}= \begin{pmatrix}\frac{R^u-G^u}{\sqrt{2}}\\\frac{R^u+G^u-2B^u}{\sqrt{6}}\end{pmatrix} $$
颜色描述子
- RGB-SIFT描述子对每个RGB通道单独计算,对每个通道归一化,光照不变性;
- rg-SIFT描述子对规范化RGB空间的R和G通道计算SIFT描述子(每个描述子有$2\times 128$维);
- Opponent SIFT描述Opponent颜色空间的各个通道;
-
C-SIFT使用Opponent颜色空间的$O_1/O_3$和$O_2/O_3$计算(每个描述子有$2\times 128$维)
- 关于光强度具有尺度不变性;
- 由于颜色空间的定义,在求导时偏移量不会抵消。
算法、模型内容好多,到后面就不做细节描述了,一些会以后看论文或手工实践时再具体记录。
参考资料:

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论