Data-基础-03 模型

Data-基础-03 模型

I have always pursued my interests without much regard for financial value or value to the world. --Claude Shannon
  • Data系列:目录 | 配置 | 代码仓库
  • 《机器学习》一书中说,“机器学习所研究的主要内容,是关于在计算机上从数据中产生模型的算法,即学习算法”。上一节中我们已经对数据有了更多的一些认知,而本节内容则是对模型和学习中的模型(Model)进行一些介绍。

1. 模型的含义

  • 通过主观意识借助实体或者虚拟表现构成客观阐述形态结构的一种表达目的的物件(物件并不等于物体,不局限于实体与虚拟、不限于平面与立体)。 -- 百度百科:模型
  • 模型泛指从数据中学得的结果,有文献用模型指全局性结果(如决策树),而用模式指局部性结果(如一条规则)。 -- 《机器学习》

2. 模型的分类

  • 概率模型与非概率模型

    • 概率模型(probabilistic model):如决策树、朴素贝叶斯、HMM、CRF等
    • 非概率模型(non-probabilistic model) 或 确定性模型(deterministic model):如感知机、支持向量机、k近邻、神经网络。
    • 逻辑回归既可以看作概率模型,也可以看作非概率模型
    • 两者的区别不在于输入与输出之间的映射,而在于模型的内在结构。概率模型一定可以表示为联合概率分布的形式,其中变量表示输入、输出、隐变量甚至参数,而非概率模型则不一定存在这样的联合概率分布。
  • 线性模型与非线性模型

    • 线性模型(linear model):感知机、线性支持向量机、k近邻、k均值、潜在语义分析;
    • 非线性模型(non-linear model):核函数支持向量机、AdaBoost、神经网络。
  • 参数化模型与非参数化模型

    • 参数化模型(parametric model):假设模型参数的维度固定,模型可以由有限维参数完全刻画,如感知机、朴素贝叶斯、逻辑回归、k均值等;
    • 非参数化模型(non-parametric model):假设模型的维度不固定或无穷大,随着训练数据量的增加而不断增大,如决策树、支持向量机、AdaBoost、k近邻等。

3. 模型的评估与选择

【误差】

  • 误差(error):实际预测输出与样本的真实输出之间的差异;
  • 训练误差(training error)、经验误差(empirical error)、再代入误差(resubstitution error)、表现误差(apparent error):在训练集上的误差;
  • 泛化误差(generalization error):在新样本上的误差,将学习方法对未知数据的预测能力称为泛化能力(generalizationability)。

【拟合】

  • 与模型训练和泛化能力相关的两个现象分别是过拟合(overfitting)和欠拟合(underfitting)。
  • 过拟合:训练太过,将训练集自身的一些特征作为了一般特征,使得泛化能力下降。

    • 可能原因:噪声、缺乏代表性样本、多重比较过程、学习能力过强
  • 欠拟合:训练不足,模型尚未学习到数据的真实结构。

【评估方法】

  • 通常,我们通过实验测试来评估模型的泛化能力,即使用测试集上的测试误差来近似泛化误差(当然除了泛化能力外,时间开销、存储开销、可解释性等也是模型评估的方面)。
  • 测试集的获得一般有以下几种方法:
  1. 留出法、保持方法(Hold-out):将数据集划分成两个互斥的集合,分别作为训练集和测试集

    • 切分比例需要进行判断,对不同大小、类型的数据集和不同的训练方法,参考比例都不同。
    • 局限:

      • 由于切分,使得用于训练的样本减少;
      • 模型可能高度依赖于训练集和测试集的比例;
      • 训练集和测试集并不是相互独立的。
  2. 随机二次抽样(random subsampling):多次重复保持方法

    • 如,$acc_i$为第$i$次迭代的准确率,总准确率为$\sum^k_{i=1}acc_i/k$
    • 同样,此方法用于训练的样本减少;
    • 并且由于随机,使得用于训练的记录使用频率可能更高。
  3. 交叉验证(cross validation):每个记录用于训练的次数相同,且恰好检验一次

    • 步骤

      • 将数据集划分成$k$个大小相似的互斥子集;
      • 每次取$1$个子集作为测试集,其它$k-1$个作为训练集;
      • 取$k$次结果的均值作为最终结果。
    • 留一法(leave-one-out):每个检验集只有一条记录。
    • 优点

      • 使用尽可能多的训练记录;
      • 子集互斥,覆盖了整个数据集。
    • 缺点

      • 计算开销大。
  4. 自助法(bootstrap):训练记录采用有放回抽样

    • .632自助(.632 bootstrap):通过组合每个自主样本的准确率($\epsilon_i$)和由包含所有标记样本的训练集计算准确率($acc_i $)计算总准确率($acc_{boot}$)

      $acc_{boot}=\frac{1}{b}\sum^b_{i=1}(0.632\times\epsilon_i+0.368\times acc_s)$

【评估指标】

  • 评估模型的泛化能力,除了需要评估方法,还需要评估指标,即性能度量(performance measure)。
  • 性能度量就是真实值和预测值的关系,若两者越接近,则性能越好。
  • 对于不同的任务,评估指标各有不同,如,

    • 分类任务:精度、召回率、F1、ROC、AUC等
    • 回归任务:均方误差、绝对误差、决定系数、Huber Loss等
    • 自然语言生成:ROUGE、BLEU等

【损失函数&风险函数】

  • 在评估角度来看,损失函数与性能度量的作用相同,真实值与预测值差别越大,则损失函数值越大。如均方误差既可以被当作性能度量,也可以是回归问题的损失函数。
  • 但在很多问题中,我们会用损失函数来优化模型,而不是直接通过性能度量。如在逻辑回归中,会优化对数似然;在SVM中,会优化hinge loss;在adabboost中会优化指数损失。
  • 用损失函数评估、优化模型,主要原则就是经验风险最小化、结构风险最小化来提高泛化能力。
  • 损失函数

    • 损失函数(loss function) 或 代价函数(cost function):$L(Y,f(X))$

      1. 0-1损失函数 (0-1 loss function)

        $\begin{eqnarray}L(Y,f(X))=\begin{cases}1,&Y\neq f(X)\\0,&Y=f(X)\end{cases}\end{eqnarray}$

      2. 平方损失函数 (quadratic loss function)

        $L(Y,f(X))=(Y-f(X))^2$

      3. 绝对损失函数 (absolute loss function)

        $L(Y,f(X))=|Y-f(X)|$

      4. 对数损失函数 (logarithmic loss function) 或 对数似然损失函数 (log-likelihood)

        $L(Y,f(X))=-\log P(Y|X)$

    • 损失函数值越小,模型越好
  • 风险函数

    • 风险函数(risk function) 或 期望损失(expected loss):损失函数的期望

      • $R_{{\rm exp}}(f)=E_P[L(Y,f(X))]=\int_{\mathcal{x}\times\mathcal{y}}L(y,f(x))P(x,y){\rm d}x{\rm d}y$
      • 模型$f(X)$关于联合分布$P(X,Y)$的平均意义下的损失。
      • 实际上,由于联合分布$f(X,Y)$是未知的,所以$R_{{\rm exp}}$无法直接计算。
    • 经验风险(empirical risk) 或 经验损失:

      • 训练数据集,$T=\{(x_1,y_1),(x_2,y_2)...,(x_N,y_N)\}$
      • 经验损失,$R_{{\rm emp}}(f)=\frac{1}{N}\sum^N_{i=1}L(y_i),f(x_i)$
    • 由大数定律,当样本容量趋向无穷时,经验风险趋于期望风险;
    • 但由于实际数据量的不足,使用经验风险最小化和结构风险最小化策略。
  • 经验风险最小化(ERM, empirical risk minimization)

    • 认为经验风险最小的模型是最优的模型
    • $\min_{f\in\mathcal{F}}\frac{1}{N}\sum^N_{i=1}L(y_i,f(x_i))$
    • 如极大似然估计(maximum likelihood estimation)
    • 当样本容量过小时,可能会产生过拟合
  • 结构风险最小化(SRM, structural risk minimization)

    • 防止过拟合,等价于正则化(regularization);
    • 在经验风险上加上表示模型复杂度的正则化项(regularizer)或罚项(penalty term)
    • $R_{\rm srm}(f)=\frac{1}{N}\sum^N_{i=1}L(y_i,f(x_i))+\lambda J(f)$
    • 如贝叶斯估计中的最大后验概率估计(MAP, maximum posterior probability estimation)
其它有关模型内容如泛化误差上界、比较检验方法、泛化能力的解释方法(偏差-方差分解),可以对应参考资料中书籍的对应章节自行查看了解。

参考资料

评论

暂无评论