CV-2020-实践:04 图像特征的大作业
文章目录
CV-2020-实践:04 图像特征的大作业
这又是一次“为难”人的大作业了,幸好这次不是一个人,有大佬们撑着,但还是好麻烦。本次实验围绕着图像特征进行,包含特征提取、特点去除、特征点匹配中的一些模型和方法,总归还是内容满满的
Be alone, that is the secret of invention; be alone, that is when ideas are born. --Nikola Tesla
1. 作业内容和要求
-
作业内容
- 基于分类器的随机蕨特征检测(FERNS)方法的实现;
-
特征与匹配
- 特征检测:使用SIFT、SURF
- 野点去除:基础野点去除方法
- 匹配与定位:BruteForce、FLANN、RANSAC、Hough Cluster等方法
- 实现任务:点对映射、几何校正、图像拼接、目标检测
- 基于快速特征点检测方法(ORB),实现视频的实时检测与可视化(消除野点)
-
作业分析:
- 整个实验包含三个部分。其中第一部分仅用实现FERNS方法;第二部分包含特征检测、野点去除、特征点匹配完整的图像特征应用的过程,又给出了多种实现任务;第三部分则是在第二部分完成后,加入了视频实时检测的要求(可能要应用一些加速方法)。
- 实验的整体流程较为清晰,重点在于各个算法、模型的原理实现、各部分之间的数据的传递(对于团队合作来说)以及可视化、加速的思考。
2. 各个算法模型的描述和参考资料
-
FERNS方法:
-
特征检测:
-
野点去除
-
NN (nearest neighbor):只比较有足够相似性的点
- ${\rm SSD}(patch1, patch2)<{\rm trheshold}$
- $SSD(i,j)=\sum^M_{s=1}\sum^N_{t=1}[S(i+s-1,j+t-1)-T(s,t)]^2$
-
NNDR (nearest neighbor distance ratio)
- 找出SSD最接近的两个匹配,比较其差异:$\frac{d_1}{d_2}=\frac{D_A-D_B}{D_A-D_C}$
- $D_A$表示原点,$D_B$、$D_C$分别表示第一近、第二近的点
-
进一步排除:ANMS(adaptive non-maximal suppression,自适应非极大值抑制)
- 不通过固定阈值比较,而是通过选出比起半径r内的其他特征点强10%的特征点。
- 自适应非极大值抑制算法
-
-
特征点匹配
-
BruteForce(暴力算法):全比较
-
FLANN(Fast Library for Approximate Nearest Neighbors,快速最邻近)
-
RANSAC(random sample consensus,随机采样一致性)
-
通用的RANSAC算法
运行$k$次:
- 随机选取$n$个采样;
- 对$n$个采样配合合适的参数$\Theta$;
- 对另外$N-n$个点,计算对应模型的适应度,得到匹配集合的点数$c$。
输出参数$\Theta $和最大适配集合$c$。
-
-
Hough Cluster
-
-
快速特征点检测方法
-
ORB
- Ethan Rublee,Vincent Rabaud,Kurt Konolige, Gary R.Bradski., “ORB:An Efficient Alternative to SIFT or SURF”, 2011 ICCV
- 图像特征点—ORB特征点
-
3. 环境配置(opencv-contrib nonfree安装)
- 没错,这次还是要配置环境QAQ,由于我们需要使用SIFT、SURF等特征算法,所以我们需要配置OpenCV_Contrib。OpenCV仅包含了主要模块,而一些带专利的收费算法、仍在测试的新模块则是在OpenCV_Contrib包中。
- 首先,我们需要再次安装CMake,为了方便,这次我们使用它的GUI版本。
- 然后,我们需要安装OpenCV和OpenCV_Contrib的源代码,注意,两者的版本必须一致(我的版本是4.2.0,虽然我没试过不一致会如何)。
-
接下来,我们打开CMake进行编译,

- 如图所示,在1中填入OpenCV的源代码位置,然后在2中写入生成位置,再点击3处configure(按照原配置,Unix Makefiles即可),之后会经过一段时间。完成后,中间的列表都会变为红色。之后修改4处为OpenCV_Contib源代码目录下的modules文件夹,同时将5处
OPENCV_ENABLE_NONFREE打开(一定要注意,否则将无法使用有专利的算法)。在点击6处Generate,等待完成即可。
- 如图所示,在1中填入OpenCV的源代码位置,然后在2中写入生成位置,再点击3处configure(按照原配置,Unix Makefiles即可),之后会经过一段时间。完成后,中间的列表都会变为红色。之后修改4处为OpenCV_Contib源代码目录下的modules文件夹,同时将5处

- 然后打开终端,到达生成的编译结果目录下,执行
make和sudo make install后,就安装好这两个包了。
-
最后,就是在XCode中配置我们需要的环境了,这里我们和之前实验一样,在
Header SearchPaths中填入/usr/local/include(或/usr/local/include/opencv),在Library Search Paths中填入/usr/local/lib。接下来,和之前不同,我们这次不再Build Phases设置中放入链接了,而是在Build Settings中Other Linker Flags中放入-lopencv_***标志,来建立连接(由于连接过多,最终,也不这样实现了)。- 我们打开
**.CV-Lab.xcodeproj文件(右键,显示包内容),然后用文本编辑器打开project.pbxoproj文件,在/* Begin XBuildConfiguration section */下相应位置,填入需要的标记即可,如下图所示,
- 我们打开

- 我贪婪地填入了各种内容,如下所示,
OTHER_LDFLAGS = ("-lopencv_aruco","-lopencv_bgsegm","-lopencv_bioinspired","-lopencv_calib3d","-lopencv_ccalib","-lopencv_core","-lopencv_datasets","-lopencv_dnn","-lopencv_dnn_objdetect","-lopencv_dpm","-lopencv_face","-lopencv_features2d","-lopencv_flann","-lopencv_fuzzy","-lopencv_highgui","-lopencv_gapi","-lopencv_hfs","-lopencv_highgui","-lopencv_imgcodecs","-lopencv_imgproc","-lopencv_img_hash","-lopencv_line_descriptor","-lopencv_ml","-lopencv_objdetect","-lopencv_optflow","-lopencv_phase_unwrapping","-lopencv_photo","-lopencv_plot","-lopencv_reg","-lopencv_rgbd","-lopencv_saliency","-lopencv_shape","-lopencv_stereo","-lopencv_structured_light","-lopencv_stitching","-lopencv_superres","-lopencv_surface_matching","-lopencv_text","-lopencv_tracking","-lopencv_video","-lopencv_videoio","-lopencv_videostab","-lopencv_xfeatures2d","-lopencv_ximgproc","-lopencv_xobjdetect","-lopencv_xphoto",);
- 接下来,尝试编写程序进行测试,就可以发现,终于成功了(祝愿你也能成功)。
4. 编写实验代码
- 关于具体的代码实现,这里不再做阐述了,使用了OpenCV_Conrib提供的函数,经历了上次实验的“熬炼”后,并有小组中大佬们的帮助,这些应该不成问题了。
-
给出两个链接,看完这两个后,基本一些内容已经是可以实现的了,
-
过程中的一些提醒如下,
- 注意区分
features2d和xfeatures2d,前者包含了ORB,后者包含了SIFT和SURF。如果有一些函数无法应用,很有可能是其中缺了一个。 - 注意区别NN、NNDR和ANMS,虽然都是去除野点,实际上前两者是根据比较的两幅图去除错误匹配,而ANMS则是根据本身的图去除野点。
- 注意区分
有大佬们的帮助,终于又度过一劫,系统的不同还是带来了一些麻烦,中途还因为错误操作导致系统重装,不过这是另一个故事了。另外各种参考资料较多,文章中已经给出了,这里就不再重复水字数了,感谢大佬们的贡献。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论