图像分割(Grabcut)
onlyloveyd 220 4

图像分割

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类:基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看,图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程,即把属于同一区域的像素赋予相同的编号。

Grabcut

GraphCut需要用户提供精确的前景背景的种子,而且当提供的种子无法覆盖所有分布时,必然会影响分割的准确度。为了解决这个问题,微软研究室提出了更加快捷高效的GrabCut分割算法。GrabCut需要用户提供一个矩形,矩形内为前景,矩形外为背景。GrabCut具体步骤如下:

1: 矩形外的像素作为背景,矩形内的像素作为前景,用这两组去训练背景GMM和前景GMM(这里GMM指高斯混合模型);

2: 用训练好的两个GMM来计算每一个像素属于背景和属于前景的概率,进而计算出能量函数E中的Data项,能量函数中的Smoothness项的计算方法大致与GraphCut相同;

3:通过最优化能量函数得到图像的一个分割;

4:用3中的分割结果中的前景Pixels和背景Pixels去训练前景GMM和背景GMM;

5:重复2,3,4,直到分割结果收敛(不再有大的变化)。

由以上步骤可以看出,GrabCut是一个循环执行的算法,其循环的目的是为了EM(Expectation Maximization)。因为用户提供的矩形内也有部分背景像素,所以这样的种子是不完全正确的。好在GMM模型并不要求所有的训练数据正确,即使有一部分分类不正确,也可以通过EM步骤使得最终结果正确。而GrabCut正是利用了GMM的这一特性。值得注意的是,GMM有陷入局部最优的问题无法解决,所以GrabCut也有此问题。

算法论文地址:https://www.microsoft.com/en-us/research/wp-content/uploads/2004/08/siggraph04-grabcut.pdf

API

public static void grabCut(Mat img, Mat mask, Rect rect, Mat bgdModel, Mat fgdModel, int iterCount, int mode)
  • 参数一:img,输入的待分割图像。必须是8位三通道。

  • 参数二:mask,输入/输出8位单通道掩码图像。图像中像素值取值及其含义如下。

    标志位 含义
    GC_BGD 0 一个明显为背景的像素
    GC_FGD 1 一个明显为前景(对象)的像素
    GC_PR_BGD 2 一个可能为背景的像素
    GC_PR_FGD 3 一个可能为前景的像素
  • 参数三:rect,包含细分对象的ROI区域。ROI外的区域被标记位"明显的背景”。当第七个参数mode为GC_INIT_WITH_RECT时,该参数才会被使用到。

  • 参数四:bgdModel,前景模型临时对象。处理同一图像时,请勿对其进行修改。

  • 参数五:fgdModel,背景模型临时对象。处理同一图像时,请勿对其进行修改。

  • 参数六:iterCount,迭代次数。注意,可以通过使用mode == GC_INIT_WITH_MASK或mode == GC_EVAL进行进一步调用来完善结果。

  • 参数七:mode,分割模式标志位。

    标志位 含义
    GC_INIT_WITH_RECT 0 使用提供的矩形初始化状态和掩码。 之后根据算法进行迭代更新
    GC_INIT_WITH_MASK 1 使用提供的掩码初始化状态。 可以组合使用GC_INIT_WITH_RECT和GC_INIT_WITH_MASK。 然后,使用GC_BGD自动初始化ROI之外的所有像素。
    GC_EVAL 2 表示算法应该恢复
    GC_EVAL_FREEZE_MODEL 3 表示算法仅在固定模型下运行grabCut算法(单次迭代)

操作

/**
 * 图像分割 Grabcut
 * author: yidong
 * 2020/11/21
 */
class GrabcutActivity : AppCompatActivity() {

    private val mBinding: ActivityGrabcutBinding by lazy {
        ActivityGrabcutBinding.inflate(layoutInflater)
    }

    private lateinit var mRgb: Mat

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(mBinding.root)

        val bgr = Utils.loadResource(this, R.drawable.lena)
        mRgb = Mat()
        Imgproc.cvtColor(bgr, mRgb, Imgproc.COLOR_BGR2RGB)
        mBinding.ivLena.showMat(mRgb)
        GlobalScope.launch(Dispatchers.IO) {
            doGrabCut()
        }
    }

    private fun doGrabCut() {
        val rectMat = Mat()
        mRgb.copyTo(rectMat)
        val rect = Rect(80, 30, 340, 390)
        Imgproc.rectangle(rectMat, rect, Scalar.all(255.0), 2)
        GlobalScope.launch(Dispatchers.Main) {
            mBinding.ivLena.showMat(rectMat)
        }
        val bgdModel = Mat.zeros(1, 65, CvType.CV_64FC1)
        val fgdModel = Mat.zeros(1, 65, CvType.CV_64FC1)
        val mask = Mat.zeros(mRgb.size(), CvType.CV_8UC1)
        Imgproc.grabCut(mRgb, mask, rect, bgdModel, fgdModel, 5, Imgproc.GC_INIT_WITH_RECT)

        val result = Mat()
        for (i in 0 until mask.rows()) {
            for (j in 0 until mask.cols()) {
                val value = mask.get(i, j)[0].toInt()
                if (value == 1 || value == 3) {
                    mask.put(i, j, 255.0)
                } else {
                    mask.put(i, j, 0.0)
                }
            }
        }
        Core.bitwise_and(mRgb, mRgb, result, mask)
        GlobalScope.launch(Dispatchers.Main) {
            mBinding.ivResult.showMat(result)
        }
    }

    override fun onDestroy() {
        mRgb.release()
        super.onDestroy()
    }
}

效果

前景图像分割(Grabcut)

背景

图像分割(Grabcut)

源码

https://github.com/onlyloveyd/LearningAndroidOpenCV

评论区

索引目录