一种基于实时大数据的图指标解决方案

京东云开发者
• 阅读 203

作者:京东科技 尚建平

1. 现有技术

在电商、金融风控领域,使用图来建模,将大量的人员和事件编织成一张庞大的图关系网络,构建图指标来识别异常人员和群体风险行为,目前图指标现有实现方式是基于离线数据或t+1数据构建图关系网络,图指标由业务人员或需求人员根据业务需要提出具体需求由开发人员临时开发、测试、部署、上线。

2. 现有技术的缺点

第一,图指标时效性差,无法实时更新图关系数据,在某些时效性强的场景下图指标不可用。

第二,创建、修改图指标流程繁琐,业务及需求人员无法单独实现,需开发人员临时开发。

第三,图指标相关元数据没有统一管理及分类,无法查看、修改、复用、追溯。

3. 本发明技术方案

3.1 本发明所要解决的技术问题(即发明目的)

第一,接收实时大数据流,实时构建图关系网络,图指标可基于实时图关系数据查询。

第二,业务及需求人员对图指标可视化创建、测试、上线,无需开发人员参与。

第三,图指标相关元数据进行统一管理及分类,可灵活查看、修改、复用、追溯。

3.2 本发明的完整技术方案

3.2.1 系统原理图、结构说明图或流程图

一种基于实时大数据的图指标解决方案

图1-系统原理图

3.2.2 技术方案详细描述

如图2-系统流程图所示,方案详细描述如下:

步骤1:实时图指标平台获取用户设计图指标相关的元数据信息,包括数据源、图模型、图指标等元数据。数据源信息描述了接入数据源类型和数据源字段信息,图模型信息描述图关系网络的构建模型及构建数据的字段映射信息,图指标信息描述图指标计算逻辑信息。

步骤2:实时图指标平台根据数据源信息接收外部实时流数据。数据源主要是可构建图关系网络的人员及事件信息,包括用户登入、注册、订单交易、风险决策等数据源。

步骤3:实时图指标平台将接收的实时流数据进行清洗、转换、分流。将接收的数据源中无效的数据及非法数据清除,并根据不同图模型数据要求对数据进行转换、分流。

步骤4:实时图指标平台根据图模型信息及数据字段映射信息,将实时数据流转换生成可插入图关系数据的类SQL。将人员及事件信息转换成用类SQL表示的用户、设备等节点及用户与设备节点之间关联的登入、注册等边数据。

步骤5:实时图指标平台通过对nebula图数据库各图空间执行类SQL将图关系数据插入更新至nebula图数据库。通过实时插入更新类SQL表示的节点及关联边数据,将大量的人员和事件编织成一张庞大的图关系网络,并实时更新。

步骤6:实时图指标平台接收外部系统查询图指标结果请求及入参,查询用户可视化配置的图指标相关元数据信息。如查询用户x近30天内使用过的所有设备关联的注册金白条用户数量。

步骤7:实时图指标平台将可视化配置的图指标元数据信息转换成用类SQL表示的图指标计算逻辑。如从用户x节点查找近30天登入、注册等边关联出的所有设备,再反向查找这些设备被多少注册过金白条的用户使用过。

步骤8:实时图指标平台通过对nebula图数据库执行查询类SQL,获取图指标查询结果,根据业务情况调整图指标阈值,识别异常人员和群体风险行为。如用户x近30天内使用过的所有设备关联的注册金白条用户数量大于5时,那么识别出用户x是风险用户。

一种基于实时大数据的图指标解决方案

图2-系统流程图

3.3 本发明希望保护的技术创新点

本发明通过接收实时大数据流,实时构建图关系网络,实现图指标数据实时查询。

本发明通过可视化配置维护图指标相关信息,实现图指标及相关元数据统一管理、快速部署上线。

点赞
收藏
评论区
推荐文章
Wesley13 Wesley13
2年前
RSA —— 典型非对称加密算法
RSA——JAVA代码(toc_0)RSA——加密过程图解(toc_1)(图1)构建RSA算法密匙对(toc_2)(图2)甲方向乙方发送RSA加密数据(toc_3)(图3)乙方向甲方发送RSA加密数据(toc_4)RSA——简述(
Stella981 Stella981
2年前
Spark Graphx
Graphx   概述      SparkGraphX是一个分布式图处理框架,它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口,极大的方便了对分布式图处理的需求。      众所周知·,社交网络中人与人之间有很多关系链,例如Twitter、Facebook、微博和微信等,这些都是大数据产生的地方都需要图计算,现
Wesley13 Wesley13
2年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Stella981 Stella981
2年前
Prometheus监控学习笔记之PromQL简单示例
0x00简单的时间序列选择返回度量指标http_requests_total的所有时间序列样本数据:http_requests_total返回度量指标名称为http_requests_total,标签分别是job"apiserver",handler"/api/comments"
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Stella981 Stella981
2年前
Neo4j 的一些使用心得
<divclass"htmledit\_views"id"content\_views"<p<br</p<p<spanstyle"color:rgb(70,70,70);fontfamily:simsun;fontsize:14px;lineheight:21px;"由对图数据的处理需求,看到了图数据库(GraphData
Wesley13 Wesley13
2年前
30分钟入门图数据库(精编版)
之前在公司内部以推文为教材做过一些简单的入门培训,最近有个契机需要对外直播选个主题,就把这个入门课程重新编排了一下,内容也更加的丰富。因为是入门课程,我会从关系数据库到NoSQL的历史,从NoSQL到图,从图的概念到图建模,从建模到场景,这样一个循序渐进的过程来展开。另外通过这个入门课程试水,看看外部对这个图领域的培训需求有多大,就目前来说这个市场是基本
Stella981 Stella981
2年前
DevOps世界中的软件开发
!(https://oscimg.oschina.net/oscnet/f40e68cbfe8148deb00f040b4e917a0a.jpg)在整个软件开发过程中,开发人员通常需要花费大量时间来修复错误和漏洞,以便一切按计划进行交付。但是,通过DevOps实践,可以更轻松地管理和保护这些问题。这是由于以下事实:使用DevOps实践的软
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
菜园前端 菜园前端
11个月前
什么是图?
原文链接:什么是图?图是网络结构的抽象模型,是一组由边连接的节点。图可以表示任何二元关系,比如道路、航班等。在JavaScript中没有图,但是可以通过Object和Array来构建图。常用操作深度优先遍历广度优先遍历图的表示法邻接矩阵邻接表关联矩阵...