知识图谱进阶UP!UP!

helloworld_38131402
• 阅读 311

知识图谱

一、知识图谱概论

1.1知识图谱始于20世纪50年代,至今大致分为三个发展阶段:

• 第一阶段 (1955年—1977年)是知识图谱的起源阶段,在这一阶段中引文网络分析 开始成为一种研究当代科学发展脉络的常用方法;

• 第二阶段(1977年-2012 年)是知识图谱的发展阶段,语义网得到快速发展,“知识本体”的研究 开始成为计算机科学的一个重要领域,知识图谱吸收了语义网、本体在知识组织和表达方面的理念,使得知识更易于在计算机之间和计算机与人之间交换、流通和加工;

• 第三阶段(2012年—至今)是知识图谱繁荣阶段,2012年谷歌提出Google Knowledge Graph,知识图谱正式得名,谷歌通过知识图谱技术改善了搜索引擎性能。在人工智能的蓬勃发展下,知识图谱涉及到的知识抽取、表示、融合、推理、问答等关键问题得到一定程度的解决和突破,知识图谱成为知识服务领域的一个新热点,受到国内外学者和工业界广泛关注。

知识图谱具体的发展历程如下图所示。

知识图谱进阶UP!UP!

1.2知识图谱的价值

知识图谱用节点和关系所组成的图谱,为真实世界的各个场景直观地建模,运用“图”这种基础性、通用性的“语言”,“高保真”地表达这个多姿多彩世界的各种关系,并且非常直观、自然、直接和高效,不需要中间过程的转换和处理——这种中间过程的转换和处理,往往把问题复杂化,或者遗漏掉很多有价值的信息。

在风控领域中,知识图谱产品为精准揭露“欺诈环”、“窝案”、“中介造假”、“洗钱”和其他复杂的欺诈手法,提供了新的方法和工具。尽管没有完美的反欺诈措施,但通过超越单个数据点并让多个节点进行联系,仍能发现一些隐藏信息,找到欺诈者的漏洞,通常这些看似正常不过的联系(关系),常常被我们忽视,但又是最有价值的反欺诈线索和风险突破口。

尽管各个风险场景的业务风险不同,其欺诈方式也不同,但都有一个非常重要的共同点——欺诈依赖于信息不对称和间接层,且它们可以通过知识图谱的关联分析被揭示出来,高级欺诈也难以“隐身”。

凡是有关系的地方都可以用到知识图谱,事实上,知识图谱已经成功俘获了大量客户,且客户数量和应用领域还在不断增长中,包括沃尔玛、领英、阿迪达斯、惠普、FT金融时报等知名企业和机构。

目前知识图谱产品的客户行业,分类主要集中在:社交网络、人力资源与招聘、金融、保险、零售、广告、物流、通信、IT、制造业、传媒、医疗、电子商务和物流等领域。在风控领域中,知识图谱类产品主要应用于反欺诈、反洗钱、互联网授信、保险欺诈、银行欺诈、电商欺诈、项目审计作假、企业关系分析、罪犯追踪等场景中。

那相比传统数据存储和计算方式,知识图谱的优势显现在哪里呢?

(1)关系的表达能力强

传统数据库通常通过表格、字段等方式进行读取,而关系的层级及表达方式多种多样,且基于图论和概率图模型,可以处理复杂多样的关联分析,满足企业各种角色关系的分析和管理需要。

(2)像人类思考一样去做分析

基于知识图谱的交互探索式分析,可以模拟人的思考过程去发现、求证、推理,业务人员自己就可以完成全部过程,不需要专业人员的协助。

(3)知识学习

利用交互式机器学习技术,支持根据推理、纠错、标注等交互动作的学习功能,不断沉淀知识逻辑和模型,提高系统智能性,将知识沉淀在企业内部,降低对经验的依赖。

(4)高速反馈

图式的数据存储方式,相比传统存储方式,数据调取速度更快,图库可计算超过百万潜在的实体的属性分布,可实现秒级返回结果,真正实现人机互动的实时响应,让用户可以做到即时决策。

一、知识图谱概论

1.1知识图谱的起源和历史

1.2知识图谱的发展史——从框架、本体论、语义网、链接数据到知识图谱

1.3知识图谱的本质和价值

1.4知识图谱VS传统知识库VS关系数据库

1.5经典的知识图谱

1.5.1经典的CYC, WordNnet, WikiData, DBpedia, YAGO, NELL等知识库

1.5.2行业知识图谱:

Google知识图谱,微软实体图,阿里知识图谱,医学知识图谱,基因知识图谱等知识图谱项目

二、知识图谱应用

2.1知识图谱应用场景

2.2知识图谱应用简介

2.2.1知识图谱在数字图书馆上的应用

2.2.2知识图谱在国防、情报、公安上的应用

2.2.3知识图谱在金融上的应用

2.2.4知识图谱在电子商务中的应用

2.2.5知识图谱在农业、医学、法律等领域的应用

2.2.6知识图谱在制造行业的应用

2.2.7知识图谱在大数据融合中的应用

2.2.8知识图谱在人机交互(智能问答)中的应用

三、知识表示与知识建模

3.1知识表示概念

3.2 知识表示方法

a.语义网络 b.产生式规则 c.框架系统 d.描述逻辑 e.本体 f.RDF和RDFS

g.OWL和OWL2 Fragments h.SPARQL查询语言

i.Json-LD、RDFa、HTML5 MicroData等新型知识表示

3.3典型知识库项目的知识表示

3.4知识建模方法学

3.5知识表示和知识建模实践

1.三国演义知识图谱的表示和建模实践案例

2.学术知识图谱等

四、知识抽取与挖掘

4.1知识抽取基本问题

a.实体识别 b.关系抽取 c.事件抽取

4.2数据采集和获取

4.3面向结构化数据的知识抽取

a.D2RQ b.R2RML

4.4面向半结构化数据的知识抽取

a.基于正则表达式的方法 b.基于包装器的方法

4.5.面向非结构化数据的知识抽取

a.实体识别技术(基于规则、机器学习、深度学习、半监督学习、预训练等方法)

b.关系抽取技术(基于模板、监督、远程监督、深度学习等方法)

c.事件抽取技术(基于规则、深度学习、强化学习等方法)

4.6.知识挖掘

a.实体消歧b.实体链接c.类型推断 d.知识表示学习

4.7知识抽取上机实践

A.面向半结构化数据的三国演义知识抽取

B.面向文本的三国演义知识抽取

C.人物关系抽取

五、知识融合

5.1知识融合背景

5.2知识异构原因分析

5.3知识融合解决方案分析

5.4.本体对齐基本流程和常用方法

a.基于文本的匹配 b.基于图结构的匹配 c.基于外部知识库的匹配

e.不平衡本体匹配 d.跨语言本体匹配 f.弱信息本体匹配

5.5实体匹配基本流程和常用方法

a.基于相似度的实例匹配 b.基于规则或推理的实体匹配

c.基于机器学习的实例匹配 d.大规模知识图谱的实例匹配

(1)基于分块的实例匹配

(2)无需分块的实例匹配

(3)大规模实例匹配的分布式处理

5.6 知识融合上机实践

1.百科知识融合

2.OAEI知识融合任务

六、存储与检索

6.1.知识图谱的存储与检索概述

6.2.知识图谱的存储

a.基于表结构的存储 b.基于图结构的存储

6.3.知识图谱的检索

a.关系数据库查询:SQL语言 b数据库查询:SPARQL语言

6.4.上机实践案例:利用GraphDB完成知识图谱的存储与检索

七、知识推理

7.1.知识图谱中的推理技术概述

7.2.归纳推理:学习推理规则

a.归纳逻辑程设计Øb.关联规则挖掘 c.路径排序算法

上机实践案例:利用AMIE+算法完成Freebase数据上的关联规则挖掘

7.3.演绎推理:推理具体事实

Ø a.马尔可夫逻辑网 b.概率软逻辑

7.4.基于分布式表示的推理

a. TransE模型及其变种 b.RESCAL模型及其变种

c.(深度)神经网络模型介绍 d.表示学习模型训练

7.5.上机实践案例:利用分布式知识表示技术完成Freebase上的链接预测

八、语义搜索

8.1.语义搜索概述

8.2.搜索关键技术

a.索引技术:倒排索引

b.排序算法:BM25及其扩展

8.3.知识图谱搜索

a.实体搜索

b.关联搜索

8.4.知识可视化 a.摘要技术

8.5.上机实践案例:SPARQL搜索

九、知识问答

9.1.知识问答概述

9.2.知识问答基本流程

9.3.相关测试集:QALD、WebQuestions等

9.4.知识问答关键技术

a.基于模板的方法

b.语义解析

c.基于深度学习的方法

9.5.上机实践案例:DeepQA、TemplateQA

搜索关注公众号:人工智能技术与咨询

点赞
收藏
评论区
推荐文章
知识图谱Knowledge Graph构建与应用
《新一代人工智能发展规划》明确提出了“建立新一代人工智能关键共性技术体系”的重点任务,特别强调了要解决“研究跨媒体统一表征、关联理解与知识挖掘、知识图谱构建与学、知识演化与推理、智能描述与生成等技术,开发跨媒体分析推理引擎与验证系统”的关键共性技术问题。一、知识图谱概论1.1知识图谱的起源和历史1.2知识图谱的发展史——从框架、本体论、语义网、链
Stella981 Stella981
2年前
Jure Leskovec等顶尖学者倾情授课,斯坦福知识图谱课程完结
  机器之心报道  参与:杜伟、魔王斯坦福知识图谱春季课程视频上线B站,领域内顶尖学者和业界大牛倾情授课,对知识图谱感兴趣的小伙伴赶紧去观看吧!  从Google搜索,到聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统,这些应用无一不跟知识图谱相关。知识图谱在技术领域的热度也在逐渐上升。  但
知识图谱|知识图谱的典型应用
作者:cooldream2009 我们构建知识图谱的目的,在于利用知识图谱来做一些事情。有效利用知识图谱,就是要考虑知识图谱的具备的能力,知识图谱具有哪些能力呢,首先我们知道知识图谱包含了海量的数据,是一个超级知识库,所以我们可以依赖它进行搜索一
知识图谱丨知识图谱赋能企业数字化转型
知识图谱丨知识图谱赋能企业数字化转型相互关联是大数据时代的鲜明特征。激增且日益复杂的海量数据正通过各种方式对企业发展产生重要影响。如何正确理解和解读数据,发掘其内在价值,从而推动企业的智能决策备受关注。在当今的商业世界或者日常生活中,无论是企业还
知识图谱丨行业应用广泛,未来发展前景好,参与学习势在必行
学习和关注人工智能技术与咨询,企鹅l89696oo7,更多详情可咨询19511122152(v同号)。多领域发挥重要作用知识图谱本质上是基于语义网络(semanticnetwork)的知识库,旨在描述客观世界的概念、实体、事件及其之间的关
知识图谱:技术成熟度飞速跃升,与产业互联结合更加紧密
国双数据科学团队刘燕对比2020和2019年Gartner发布的人工智能领域的技术“成熟度曲线”(HypeCycle),在短短1年时间,知识图谱的成熟度由创新触发阶段一跃达到预期膨胀高峰阶段且非常接近最高点。知识图谱逐渐成为人工
胡赤儿 胡赤儿
3个月前
知识图谱技术的深度解析与应用前景展望
在数字化时代,信息爆炸式增长,如何有效地组织、存储和查询知识成为了一个亟待解决的问题。知识图谱作为一种新型的知识表示和组织方式,正逐渐成为信息领域的研究热点。本文将对知识图谱的技术原理、构建方法以及应用前景进行深度解析,旨在为读者提供一个全面而深入的了解。
知识图谱自动化构建的探索与挑战
知识图谱自动化构建的探索与挑战|论文分享达观数据知识图谱的自动化构建是知识图谱中具有极强挑战性且巨大应用价值的技术方向。就实体抽取技术,达观数据副总裁、上海市人工智能技术标准委员会委员王文广提到“狭义的实体抽取,即命名实体识别(NER)技术发展至今已较为成熟,能够很好地抽取出人名、地名、机构名等少数类型的实体。但在知识图谱实际应用中,则需要抽取出各式各样各不