HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

NLP入门(四)命名实体识别(NER)

  本文将会简单介绍自然语言处理(NLP)中的命名实体识别(NER)。  命名实体识别(NamedEntityRecognition,简称NER)是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具,在自然语言处理技术走向实用化的过程中占有重要地位。一般来说,命名实体识别的任务就是识

NLP入门(三)词形还原(Lemmatization)

  词形还原(Lemmatization)是文本预处理中的重要部分,与词干提取(stemming)很相似。  简单说来,词形还原就是去掉单词的词缀,提取单词的主干部分,通常提取后的单词会是字典中的单词,不同于词干提取(stemming),提取后的单词不一定会出现在单词中。比如,单词“cars”词形还

NLP入门(二)探究TF-IDF的原理

TFIDF介绍  TFIDF是NLP中一种常用的统计方法,用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度,通常用于提取文本的特征,即关键词。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。  在NLP中,TFID

NLP入门(一)词袋模型及句子相似度

  本文作为笔者NLP入门系列文章第一篇,以后我们就要步入NLP时代。  本文将会介绍NLP中常见的词袋模型(BagofWords)以及如何利用词袋模型来计算句子间的相似度(余弦相似度,cosinesimilarity)。  首先,让我们来看一下,什么是词袋模型。我们以下面两个简单句子为例:

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。