Data-基础-01 它们的关系?
文章目录
Data-基础-01 它们的关系?
I just wondered how things were put together. -- Claude Shannon
- Data系列:目录 | 配置 | 代码仓库
- 在本科的学习和自学的过程中,不断地出现各样的课程名,它们又总是出现各样的交叉与重叠。人工智能、机器学习、数据挖掘、深度学习、统计学习...如决策树在数据挖掘、统计学习、机器学习都出现了;神经网络,人工智能有,深度学习更有,CRF、马尔可夫模型它们还出自于统计、机器学习之中...
- 总而言之,这些概念存在各样的关联、渊源,本篇简单地对几个概念作出解释,并给出自己关于它们彼此关系的一点思考。
1. 概念
人工智能
- 人工智能 (AI, Artificial),一个近些年来越来越火的名词,其为研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。(来自百度百科)
自然语言处理
- 自然语言处理(Natural Language Processing, NLP)是计算机科学、人工智能和语言学的交叉研究,其目标是使计算机能处理、理解自然语言,能完成有价值的任务。(来自CS224N Lecture1)
数据挖掘
- 数据挖掘(Data Mining)是一种技术,将传统的数据分析方法与处理大量数据的复杂算法相结合,在大型数据存储库中,自动地发现有用信息的过程。(来自数据挖掘导论 Chapter1)
- 数据挖掘是数据库中知识发现(knowledge discovery in database, KDD)不可缺少的一部分,KDD是将未加工的数据转换为有用信息的整个过程,如下图所示,

-
数据挖掘的任务包含:
-
两大类:
- 预测任务:根据其它属性的值(说明变量或自变量),预测特定属性的值(目标变量或因变量)
- 描述任务:导出概括数据中潜在练习的模式(相关、趋势、聚类、轨迹和异常)
-
预测建模(predictive modeling):以说明变量函数的方式为目标变量建立模型
- 分类(classification):预测离散的目标变量
- 回归(regression):预测连续的目标变量
-
关联分析(association analysis):发现描述数据中强关联特征的模式
- 应用:找出具有相关功能的基因组、识别用户、理解元素之间的联系
-
聚类分析(cluster analysis):发现紧密相关的预测值组群
- 应用:对相关的顾客分组、找出显著影响地球气候的海洋区域、压缩数据
-
异常检测(anomaly detection):识别特征显著不同于其他数据的观测值
- 异常点(anomaly)或离群点(outlier)
- 好的异常检测器:高检测率、低误报率
- 应用:检测欺诈、网络攻击、疾病的不寻常模式、生物系统扰乱等
-
数据分析
- 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总和理解并消化,以最大化地开发数据的功能,发挥数据的作用。(来自百度百科)
机器学习/统计学习
- 机器学习(Machine Learning)是致力于研究如何通过计算机的手段,利用经验来改善系统自身的性能的一门学科。其研究的主要内容是,如何在计算机上从数据中产生模型的算法。(来自机器学习 Chapter1)
- 统计学习(Statistical Learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科,也称为统计机器学习。(来自统计学习方法(第2版) Chapter 1)
深度学习
- 深度学习(Deep Learning, DL)是机器学习的一个分支,也是一种表征学习(Representation Learning,通过计算机从原始数据中自动学习好的特征表示),通过学习多层的表征,来获得好的输出结果。(来自CS224N Lecture1)
数据可视化、爬虫等
- 数据可视化(Data Visualization)、爬虫(crawler)等内容虽然虽然与上面的内容差异较大,但是对于数据的完整来说又是不可或缺的部分,在本系列的学习过程中,也会涉及一些这些内容。
2. 关系
- 罗列完这些概念的定义后,对于他们的关系大概已经有了一些认知了。
-
上面的概念其实所描述的方面是不太一样的:
- 自然语言处理、数据挖掘、数据分析、计算机视觉这些概念描述的是一种处理的问题和领域;
- 机器学习、统计学习、深度学习、符号学习描述的则是一种学习的方法和策略;
- 爬虫、可视化、预处理、后处理则更倾向于是一种技术和手段(可视化更是一种描述);
- 人工智能的话,感觉是一个更为广泛的内容,有点像前三类的合并,包含问题、方法、技术等。
- 他们彼此的关系,在概念部分已经有了一些描述了,所以不再多赘述了。
参考资料:
- CS224N: Natural Language Processing with Deep Learning,第1节
- 《数据挖掘导论》第1章
- 《统计学习方法(第2版)》第1章
- 《机器学习》第1章
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论