Data-任务-01 分类

Data-任务-01 分类

There are three kinds of death in this world. There's heart death, there's brain death, and there's being off the network. --Guy Almes
  • Data系列:目录 | 配置 | 代码仓库
  • 分类任务(Classification Task),几乎所有有关自然语言处理、数据挖掘、机器学习的书中都会提到,而且也是各种模型方法示例常举的任务,我们在此作出介绍。

1. 分类任务的含义

  • 分类任务就是通过学习得到一个目标函数$f$,把每个属性集$x$映射到一个预先定义的类标记$y$,是监督学习的一个核心问题。
  • 输入数据:记录的集合$(x,y)$

    • $x$表示属性的集合;
    • $y$表示类标签/分类属性/目标属性(分类问题中是离散的值)
  • 训练结果:目标函数/分类模型/分类决策器/分类器(classifier)

    • 分类模型的作用

      • 描述性建模:作为解释性工具,用于区分不同类的对象;
      • 预测性建模:预测未知记录的类标签
  • 分类任务的类别

    • 二分类:即要标记的类仅为两类;
    • 多分类:类别多于两类;
    • 文本分类:对文本进行分类,可能需要先分词、构建词向量、句向量等;
    • 标注(tagging):可以看为分类问题的推广,也是结构预测的简单形式。

2. 分类任务的评估指标

  • 评估指标即性能度量,表示真实值和预测值的关系,详细可看[模型]()一节的内容。

【混淆矩阵】

  • 混淆矩阵(confusion matrix)/误差矩阵,是表示精度评价的一种标准格式。
  • 在分类问题中,行表示预测的类别$\hat c$,列表示实际的类别$c$,中间则记录了$c$类预测为$\hat c$的数量。
  • 以二分类问题为例,

    01-01.png

    • TP:将正类预测为正类; TN:将负类预测为负类;
    • FN:将正类预测为负类; FP:将负类预测为正类。

【几个指标】

  • 准确率(accuracy)/精度:$acc = \frac{正确预测数}{预测总数}=\frac{TP+TN}{TP+FN+FP+TN}$
  • 错误率(error rate):$error=\frac{错误预测数}{预测总数}=\frac{FP+FN}{TP+FN+FP+TN}$
  • 精确率(precision)/查准率:$P=\frac{TP}{TP+FP}$
  • 召回率(recall)/查全率:$R=\frac{TP}{TP+FN}$
  • 平衡点(BEP):查全率和查准率是一对矛盾的度量,绘制P-R曲线,寻找平衡点(BEP, Break-Even point),即查全率等于查准率的点,如下图(来自《机器学习》)

    01-02.png

  • F1分数(F1 Score):$F1=\frac{2\times P\times R}{P+R}=\frac{2\times TP}{2\times TP+FP+FN}=\frac{2\times TP}{样本总量+TP-TN}$

    • 即,$\frac{1}{F1}=\frac{1}{2}\cdot(\frac{1}{P}+\frac{1}{R})$
  • $F_\beta$分数:$F_\beta=\frac{(1+\beta^2)\times P\times R}{(\beta^2\times P)+R}$

    • 即,$\frac{1}{F1}=\frac{1}{1+\beta^2}\cdot(\frac{1}{P}+\frac{\beta^2}{R})$
  • 宏查准率、宏查全率、宏F1:对各个混淆矩阵先计算查准率、查全率

    • $P_{macro}=\frac{1}{n}\sum^n_{i=1}P_i$
    • $R_{macro}=\frac{1}{n}\sum^n_{i=1}R_i$
    • $F1_{macro}=\frac{2\times P_{macro}\times R_{macro}}{P_{macro}+R_{macro}}$
  • 微查准率、微查全率、微F1:先计算各元素的平均值,$\overline {TP}$、$\overline {FP}$、$\overline {TN}$、$\overline {FN}$

    • $P_{micro}=\frac{\overline{TP}}{\overline{TP}+\overline{FP}}$
    • $R_{micro}=\frac{\overline{TP}}{\overline{TP}+\overline{FN}}$
    • $F1_{micro}=\frac{2\times P_{micro}\times R_{micro}}{P_{micro}+R_{micro}}$

【ROC与AUC】

  • 上文我们看过了PR-曲线,与之相似的还有ROC曲线和AUC。
  • ROC曲线(Receiver Operating Characteristic):纵轴为真正例率(TPR, True Positive Rate),横轴为假正例率(FPR, False Positive Rate)

    • $TPR=\frac{TP}{TP+FN}$, $FPR=\frac{FP}{TN+FP}$
  • AUC(Area Under ROC Curve):比较ROC结果的一种方式,即ROC曲线下的面积。

    • 而曲线上方的面积则是排序损失loss,具体可看西瓜书。
  • ROC和AUC的示例如下(图片来自《机器学习》),

    01-03.png

【代价曲线】

  • 对应着损失函数的曲线,示例如下图(来自《机器学习》)

    01-04.png

3. 分类任务的一般方法

  • 关于方法的具体内容这里不做具体介绍,有兴趣可以查看方法篇,这里只用列表的形式来记录(关于其优缺,则等到自己都实验过后再做比较。
方法 优点 缺点
基于规则
最近邻 KNN
决策树
朴素贝叶斯 NBC
支持向量机 SVM
人工神经网络
AdaBoost
Rocchi

参考资料

评论

暂无评论