CS224N-2017-笔记:01 介绍

CS224N-2017-笔记:01 介绍

课程官网:http://web.stanford.edu/class...

CS224N:深度自然语言处理课程(Natural Language Processing with Deep Learning)

个人学习的视频来自B站上雷锋字幕组的翻译,在此感谢课程的分享、翻译人员。

​ Stay Hungry, Stay Foolish. --The Last Whole Earth Catalog, 1972
  • Lecture1 主要介绍了NLP和深度学习的相关背景、知识和应用,是整个课程的开篇介绍。

1. 什么是自然语言处理(NLP)?

  • 自然语言处理(Natural Language Processing, NLP)是计算机科学、人工智能和语言学的交叉研究。
  • 自然语言处理的目标:使计算机能处理、“理解”自然语言,能完成有价值的任务(如QA问题等)。
  • 自然语言处理的层级

    01-01 自然语言处理的层级.png

  • 人类语言的特殊(自然语言处理的特殊)

    • 人类语言是一个专门用来传达说话者意思的系统:

      • 不只是一个情境符号,而是一种深思熟虑的交流;
      • 使用一种年幼孩子也可以快速学习的编码方式。
    • 人类语言是一个离散的、符号的、分类的信号系统:

      • 大脑编码似乎是一种连续的激活模式,符号是通过连续的声音、视觉信号来传递的;
      • 是一种稀疏(sparsity)的编码。
    • 人类语言的符号在不同的编码形式(如语音、手势、图像)中是不变的。

2. 什么是深度学习(DL)?

深度学习与机器学习

  • 深度学习(Deep Learning, DL)是机器学习(Machine Learning)的一个分支。
  • 机器学习

    • 大部分的机器学习方法主要依靠人工设计的表示(human-designed representations)和输入的特性(input features)来工作。
    • 机器学习很多时候最后只是用过优化权重(optimizing weights)来获得一个更好的预测)。
  • 机器学习相比深度学习(在实际操作中)

    • 机器学习中,约90%的精力花在了设计、导入计算机可以理解的一种数据特征;
    • 只有约10%的力量用在学习算法(优化特征的权重)。
    • 即由人类来分析问题,找出关键要素,设计出特征要素,计算机几乎只用在优化权重上。

深度学习与表征学习

  • 深度学习也是一种表征学习。
  • 表征学习(Representation Learning)通过计算机从原始数据中自动学习好的特征表示。
  • 深度学习算法通过学习(多层)的表征,来获得好的输出结果。

深度学习的优势

  • 人工设计的特征往往过于具象、不完备,而且需要花费大量时间来设计和验证。而深度学习学习的特征能更容易适应、更快速地学习。
  • 深度学习提供了一种十分灵活、普遍、可学习的表示世界的框架。
  • 深度学习可以学习无监督和有监督的问题。
  • 客观环境的优势:海量的数据;更快的机器;更新的模型、算法和观点。

3. 深度学习的难点

  • 复杂性:表示、学习和使用语言、情境、世界、视觉知识的复杂。
  • 歧义性:人类语言不同于编程语言、程序语言,具有很强的歧义性。
  • 依赖性:人类语言很强地依赖于现实世界、人类常识和语境知识的特点。

4. 深度自然语言处理(Deep NLP)

  • Deep NLP = Deep Learning + NLP
  • 深度自然语言处理是通过表征学习和深度学习的方法来实现自然语言处理的思想与目标。
  • 关键在于通过向量表示单词与全部层级。
思否上的第一篇文章,也希望能完整地完成CS224N课程的学习,错误之处还请大佬们指正。

评论

暂无评论