CV-2020-笔记:04 特征(Features)下
文章目录
CV-2020-笔记:04 特征(Features)--下
计算机视觉课程学习笔记
教材:Computer Vision: Algorithms and Applications, 2010
Men have become the tools of their tools.--Henry David Thoreau
5. MOPS、特征匹配、特征追踪&重要的库
MOPS特征检测算法
- MOPS: Multi-Image Matching using Multi-Scale Oriented Patches; Matthew Brown, Richard Szeliski, and Simon Winder; 2004
- MOPS描述符使用$8\times8$偏置采样和增益归一化强度值,而检测尺度(detection scale)的采样间隔为5个像素(Brown, Szeliski, and Winder 2005)。这种低频率采样对特征点位置误差具有一定的鲁棒性,通过比检测尺度更高的金字塔采样来实现的。
-
自适应非极大化抑制(ANMS, Adaptive non-maximal suppression)
- 特征检测器只在感兴趣的函数中寻找局部极值,因而在高对比区域中特征点的密度会更大;
- 因而只检测局部最大值和相应值明显大于(10%)半径$r$内的所有邻居的特征。

-
MOPS中应用ANMS
-
描述:
- 假设上一步检测结果为$N$个Harris角点:$x_1(x,y),x_2(x,y),x_3(x,y)...,x_N(x,y)$;
- 集合为$\Omega$,对应的焦点响应为:$f(x_1),f(x_2),...,f(x_N)$;
- 用$N$维向量$f$存储,设置系数$c_{robust}=0.9$。
- 第一步:寻找局部最大的焦点响应值,即$f_{max}=\max(f)$
-
第二步:遍历$N$个焦点,计算满足下列条件的$r_i$用向量$r$存储,
- $r_i=\min_jx_i-x_j$, 使得 $f(x_i)<c_{robust}f(x_j)$, $x_j\in\Omega$
-
伪代码描述
for i = 1 to N{
如果i点出的响应值$f(i)>fmax*0.9$,则$r(i)=\infty$;
否则{
将$\Omega$中所有点$x_j$的响应值乘以$0.9$,找出所有满足约束条件$f(x_i)<0.9f$
求上一步满足约束条件的$x_j$与$x_i$之间的欧式距离,存储在向量$d$
取$d$中最小值为$r(i)$,即$r(i)=\min(d)$
}
}
- 第三步:将向量$r$按照降序排列,取前500个$r_i$对应的点作为MOPS的特征点。
-
-
特征检测的评估
-
特征检测器重复性的度量
- 一张图中,在改变后图像的对应位置的$\epsilon$ ($\epsilon=1.5$)个像素点中倍检测到的频率;
- 测试方法:对平面图形进行旋转、尺度变换、光照变化、视点变化、添加噪声等方法斤进行测试。
-
信息内容的度量
- 使用一组旋转不变的局部灰度描述子。
-
-
仿射不变性(Affine invariance)
- 宽基线立体匹配 (Wide baseline stereo matching, Pritchett and Zisserman 1998; Schaffalitzky and Zisserman 2002)
- 仿射不变检测器(Affine-invariant detectors)对放射变形(如局部透视变换)的响应是一致的。实际上,对足够小的patch,任何连续的图像扭曲(warping)都可以用仿射变形很好地近似。
匹配策略
- 假设有两幅重叠的图像,则一幅图中的大多数特征可能与另一幅图像匹配,也可能不匹配(因为遮挡、外观改变等);
- 给定一个欧式距离,最简单的匹配策略是设置一个阈值(最大距离),并从该阈值内的其他图像返回所有匹配。阈值过高,会导致假阳性(false positive)过多,即返回不正确的匹配;阈值过低,会导致假阴性(false negative)过多,即漏掉很多正确的匹配。
-
在特定阈值处量化匹配算法的性能:
- 计数(Counting);
- 精度(Precision);
- ROC曲线(ROC Curve)。
-
更好的一些策略和方法:
- 多维哈希(multi-dimensional hashing);
- k-d树和最优节点搜索(Best Bin First, BBF search)
特征追踪(Feartue Tracking)
- 在所有候选图像中独立查找特征,进行匹配,即在第一张图中查找一组可能的特征位置,然后在随后的图像中搜索这些特征的对应位置。这种检测后跟踪的方法,广泛地应用在视频跟踪和三维场景跟踪中。
- 在实践中,两个方向都有高梯度的区域,即在自相关矩阵中具有较高的特征值,为寻找对应提供了稳定的位置(Shi and Tomasi 1994, “Good Feature to Track”)。
- KLT跟踪器(Kanade-Lucas-Tomasi)
一些有用的库
- STL:容器的使用、vector、list等。VC自带一个版本,另一个版本为STLport: www.slport.org,针对SGI STL做的多编译平台移植。
- BOOST库:http://www.boost.org/,可看作STL标准库的扩充,包括字符串、I/O、数学、函数对象、数据结构与容器、线程控制、内存管理、文法解析、图论等。
- CGAL库:http://www.cgal.org/,计算集合算法库。
- GALib:http://lancet.mit.edu/ga/,遗传算法库。
- GMP库:http://gmplib.org/,大数运算的库。它包括了任意精度的带符号整数、有理数、浮点数的各种基本运算操作,尤其可用于加解密算法实现。
- MLC库:http://www.sgi.com/tech/mlc/,机器学习库
- OpenGL:http://www.opengl.org,图形学库
- OpenCV:http://www.opencv.org.cn,,计算机视觉库
- GSL: http://www.gnu.org/software/gsl,科学计算库
- GDAL: http://www.gdal.org/,地理空间数据抽象库
- XERCES: http://xerces.apache.org/,xml parser
- CImg/CxImage/FreeImage,图像处理库
- LibJPEG/LibTiff/LibPNG/LibRAW,图像格式编解码库
6. 实时检测子和描述子
检测方法思路
- 可以根据图像局部的自相关函数来求得Harris角点,
- 可以用LoG或DoG检测图像中的Blobs,
- 也可以再进一步用SIFT/SURF方法实现特征检测环节。
-
问题:需要考虑全流程的实时性。
- 角点探测器的可重复性和效率决定了其在实际应用程序中的价值。
FAST方法
-
论文:
- Edward Rosten, Tom Drummond, “Machine learning for high-speed corner detection”, 2006 ECCV.
- “Faster and better: a machine learning approach to corner detection”, 2010 PAMI
- http://www.edwardrosten.com/w...
- 基本思路:某像素点与其周围领域内足够多的像素点,在某属性上不一致,则该像素点可能为角点。考虑灰度图像,该点的灰度值比其周围领域内足够多的像素点的灰度值大或者小,则该点可能为角点。
-
离散化的Bresenham圆
- 大小为16个像素的圆上有$n$个连续的像素点,它们的像素值要么都比$I_p+t$大,要么都比$I_p-t$小,那么它就是一个角点。
- 机器学习方法

-
缺点
- FAST不产生多尺度特征
- FAST特征点没有方向信息,失去旋转不变性
- 依赖于一个阈值$t$
- 噪点较多时,它的健壮性并不好
BRIEF描述子
- 论文:Michael Calonder etc., “BRIEF: Binary Robust Independent Elementary Features”, ECCV 2010
- 关键点P的周围以一定模式(随机)选取N个点对,把这N个点对的比较结果组合起来作为描述子。
- BRIEF的每个描述子其实就是1或0的编码,像素对的个数N等于二进制值的位数。然后用Hamming距离进行描述子的比较与匹配
-
判别:
- 两个特征编码对应bit位上相同元素的个数小于128的,一定不是配对的。
- 一幅图上特征点与另一幅图上特征编码对应位上相同元素的个数最多的特征点配成一对。
-
缺点:
- 不具备旋转不变性
- 不具备尺度不变性
- 对噪声敏感
ORB
- 论文:Ethan Rublee,Vincent Rabaud,Kurt Konolige, Gary R.Bradski., “ORB:An Efficient Alternative to SIFT or SURF”, 2011 ICCV
- 对FAST特征点与BREIF特征描述子的一种结合与改进。
-
特点:
- 首先构造尺度金字塔
-
在不同尺度上采用Fast检测特征点
- 按Fast角点响应值排序,提取前2n个特征点,然后根据Harris 角点响应值排序, 取前n个特征点
- 计算每个特征点的主方向(灰质质心法)
- 旋转每个特征点的Patch到主方向
-
改进的BRIEF--rBRIEF提取特征描述子
- 给BRIEF加上旋转不变性,这种方法称为“Steer BREIF”
- 优点:高效、免费
- 缺点:对仿射变换效果不好
BRISK
- 论文:Stefan Leutenegger etc, “BRISK:Binary Robust Invariant Scalable Keypoints” 2011 ICCV
- 具有较好的旋转不变性、尺度不变性,较好的鲁棒性等
- 速度:SIFT<SURF<BRISK<FREAK<ORB
FREAK
- 论文:Alahi, etc., “FREAK: Fast Retina Keypoint ”, CVPR2012
- BRISK算法上的改进
- 具有尺度不变性、旋转不变性、对噪声的鲁棒性等。
- 采样方式改变,匹配方式改变:•在特征描述中,得到512bit的二进制描述符,该描述符的列是高方差—>低方差的排列,而高方差表征了模糊信息,低方差表征了细节信息,与人眼视网膜相似,人眼先处理的是模糊信息,再处理细节信息。因此,选取前128bit进行匹配(异或),若两个待匹配的特征点前128bit距离小于设定的阈值,则再用剩余的位信息进行匹配。这种方法可以剔除掉90%的不相关匹配点。
匹配方法
- BruteForce 暴力匹配 (OpenCV: BFMatcher/Brute Force Matcher)
-
最近领域匹配( Fast Library forApproximate Nearest Neighbor, OpenCV: Flann Based Matcher)
- KD-Tree(FlannKdTree)
- 局部敏感哈希LSH(FlannLsh)
- RANSAC
- 基于HOUGH变换匹配 参见资料SIFT LECTURE 最后部分
其它
- 特征点匹配+特征检测方法汇总
-
图像双视角配对时:
- 本质矩阵 Essential matrix,基础矩阵 Fundamental matrix与单应矩阵 Homography matrix
- https://www.cnblogs.com/youzx...
7. 神经网络特征提取
一些卷积神经网络

逐渐发现这门课没法做到全部算法、模型都详细深入,而是作为一个学习目录更为恰当。各种模型、工作在此过目,需要深入了解时则查看相关论文进行学习。
参考资料:
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论