CV-2020-实践:05 图像跟踪的大作业

CV-2020-实践:05 图像跟踪的大作业

在之前特征实验的基础上,本次实验进一步对特征提取、匹配之后的对象跟踪进行了实验,对多个跟踪方法在VOT和OTB数据集之上进行实验。
Let the future tell the truth, and evaluate each one according to his work and accomplishments. The present is theirs; the future, for which I have really worked, is mine. --Nikola Tesla

1. 作业内容和要求

  • 作业内容

    1. 测试STRUCK, TLD, KCF, GOTURN跟踪器;
    2. 在VOT和OTB数据集上分别测试;
    3. 绘制Precision Rate曲线和Success Rate曲线;
    4. 用手机拍摄并自定义不同类型的跟踪对象,选择合适的方法进行跟踪,并对结果进行评估分析。
  • 作业分析

    1. 不同的跟踪器,可以直接使用OpenCV提供的方法来实现,具体方法在之前的实验中已经实践过了;
    2. VOT、OTB数据集的特征、对应的评估指标和两种曲线的绘制方法需要了解;
    3. 拍摄、切分自己的视频相对简单。

2. OTB与VOT

【OTB数据集】

  • OTB数据集是用于机器视觉追踪问题研究的数据集,在http://www.visual-tracking.ne...。
  • 对每个视频数据,其含有img文件夹和groundtruth_rect.txt文件,其中img文件夹包含一段视频按帧划分的图像集;而groundtruth_rect.txt文件中每行有四个数字,分别表示目标框的左上角坐标(x,y)和目标框的宽高(w,h),多数数据第一行对应第一帧,最后一行对应最后一帧(除David(300:770), Football1(1:74), Freeman3(1:460), Freeman4(1:283))。
  • 另外数据集中的数据还有其对应的标签,表明针对该数据进行跟踪的难点,如:IV表示光照变化、SV表示尺度变化、OCC表示遮挡存在、DEF表示变形...

【VOT数据集】

  • VOT数据集大体与OTB数据相似,只是存储格式稍有不同,在http://cvlab.hanyang.ac.kr/tr...。
  • VOT将目标框存储在groundtruth.txt文件中,每帧图像使用8个数据记录,分别表示目标框的四个顶点坐标。

3. 评估指标与曲线绘制

【精确图 Precision Plot】

  • 据跟踪算法得到的目标位置中心点,计算与groundtruth中给出的人工标注的中心点的距离,以距离和其小于给定阈值的视频帧的百分比作为横纵坐标来绘制。

【成功率图 Success Plot】

  • 成功率图则是计算重合率得分(预测的目标框与标定的目标框的重合率,重合面积除以叠加面积),以重合率和其小于给定阈值的视频帧占总帧数的百分比作为横纵坐标来绘制。
  • 成功率图的示例如下,

    lib-05-01.png

【鲁棒性测试】

  • 以上,我们绘制精确图和成功率图的方法,都是基于OPE方法,即以truthground中给出的第一帧的目标框位置作为跟踪算法的初始值。关于鲁棒性测试有两种:时间鲁棒性和空间鲁棒性。
  • 时间鲁棒性TRE以不同时间的视频帧作为开始,分别求其精准度和重合率,再绘制精确图和成功率图;空间鲁棒性SRE则是对初始目标框进行平移和缩放后,再进行绘制。
  • 实验中,时间鲁棒性通过将视频帧切分成20等份,分别从不同片段开始直至结束,进行测试;空间鲁棒性则是将初始框八个方向分别平移10%和缩放80%、90%、110%、120%初始,来进行测试。
  • 时间鲁棒性的精确图如下所示,

    lib-05-02.png

具体的实验代码不再给出,祝大家也学习愉快。

评论

暂无评论