Data-基础-04 学习
文章目录
Data-基础-04 学习
I think you impute a little more practical purpose to my thinking than actually exists. --Claude Shannon
- Data系列:目录 | 配置 | 代码仓库
- 《机器学习》一书中说,“机器学习所研究的主要内容,是关于在计算机上从数据中产生模型的算法,即学习算法”。之前中我们已经对数据和模型有了更多的一些认知,而本节内容则是对学习(learn)进行一些介绍。
1. 学习的含义
- 从数据中学得模型的过程称为 学习(learning) 或 训练(training),这个过程通过执行某个学习算法完成。 --《机器学习》
- 从给定的、有限的、用于学习的训练数据(training data)集合出发,假设学习的数据独立同分布、学习的模型属于某个函数的集合(假设空间 hypothesis),应用某个评价准则(evaluation criterion),从假设空间中选取一个最优模型,使它对已知的训练数据和未知的测试数据(ttest data)在评价指标下有最优的预测;模型的选取由算法实现。 -- 《统计学习方法(第2版)》
2. 学习的分类
- 这里的分类针对的主要是机器学习方法,传统的规则学习、现在的深度学习这些没有强调。
-
基本分类
-
监督学习(supervised learning):从标注数据中学习预测模型的学习,本质是学习输入到输出的映射的统计规律,如分类和回归。
- 输入空间、输出空间、特征空间、假设空间
- 生成方法(generative approach):生成模型,由数据学习联合概率分布$P(X,Y)$,然后求出条件概率分布$P(Y|X)$,$P(Y|X)=P(X,Y)/P(X)$,如朴素贝叶斯和HMM。
- 判别方法(discriminative approach):判别模型,由数据直接学习决策函数$f(X)$或者条件概率分布$P(Y|X)$作为预测的模型,如k近邻、感知机、决策树、逻辑回归等。
- 无监督学习(unsupervised learning):从无标注数据中学习预测模型的学习,本质是学习数据中的统计规律或潜在结构,如聚类。
- 强化学习(reinforcement learning):智能系统在与环境的连续互动中学习最优行为策略的学习,本质是学习最优的序贯决策。
- 半监督学习(semi-supervised learning):利用标注数据和非标注数据学习预测模型的学习。
- 主动学习(active learning):机器不断主动给出实例让教师进行标注,然后利用标注数据学习预测模型的学习。
-
-
按模型分类
- 概率模型与非概率模型
- 线性模型与非线性模型
- 参数化模型与非参数化模型
-
按算法分类
- 在线学习(online learning):每次接受一个样本
- 批量学习(batch learning):一次接受所有样本
-
按技巧分类
- 贝叶斯学习(Bayesian learning) 或 贝叶斯推理(Bayesian inference):在概率模型的学习和推理中,利用贝叶斯定理,计算在给定数据条件下模型的条件概率,即后验概率。
- 核方法(kernel method):使用核函数表示和学习非线性模型的一种方法,如核函数支持向量机、核PCA、核k均值。
3. 学习的要素
- 学习的三要素:模型、策略和算法(在《统计学习方法(第2版)》一书中指出的统计学习的三要素)
【模型】
- 模型:所要学习的条件概率分布或决策函数
-
假设空间$ \mathcal{F}$ (hypothesis space):所有可能的条件概率分布或决策函数
- 决策函数的集合:$\mathcal{F}=\{f|Y=f(X)\}$
- 条件概率的集合:$\mathcal{F}=\{P|P(Y|X)\}$
-
参数空间$\theta$ (parameter space)
- 决策函数:$\mathcal{F}=\{f|Y=f_\theta(X),\theta\in R^n\}$
- 条件概率:$\mathcal{F}=\{P|P_\theta(Y|X),\theta\in R^n\}$
【策略】
- 策略:学习或选择最优模型的准则
- 采用经验风险最小、结构风险最小原则,详见上一节[模型]()对应部分。
【算法】
- 算法:学习模型的具体计算方法
4. NLP学习方法的发展
- 上文我们介绍的学习方法主要关于统计机器学习方法,而关于整个NLP学习方法的发展,大体上可以说是:规则-->统计-->深度学习
- 由于自己才疏学浅,就不在此整理,或许以后能“知其然,知其所以然”、对这些方法知根知底后再整理更有意义,大家可以自行查找相关博客。
参考资料
- 《统计学习方法(第2版)》第1章
- 《机器学习》第1章
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论