“挂图作战”网络实体定位技术

专注IP定位
• 阅读 1256

在当今互联网的浪潮下,网络给人们带来了巨大的经济效益和便利。广告商通过判断网络用户的位置来推送精确的广告;网络安全人员通过定位IP位置来确定网络故障的所在,及时排除故障。因此对于IP地址的实体地理位置定位技术的研究就显的愈发的重要。  

随着IP定位技术的发展,集成的IP定位系统就是将国内外优秀的IP定位数据库汇集到一起,附加抓取一些WHOIS和DNS.LOC来提炼定位信息,最终形成一个相对全面的IP定位数据库。有了数据源后通过冲突消除算法和爬虫对定位信息库的每日更新使得数据库更加的全面,通过类SVD算法和高效IP查询算法的研究与实现来使定位结果更加准确和高效。主要做如下三方面的研究工作: 

第一研究和实现了IP定位系统的核心数据源的获取工作,包括分布式爬虫的架构和实现,突破相关网站安全性措施的方法,以及不同数据源“冲突”数据的解决方法,有效提升数据库的全面性。

第二研究和解决了大量IP查询效率低下的问题,阐述了通过高频加时间相结合的缓存策略、基于HASH的查询算法和基于FODO算法的分布式分片策略来提升IP查询效率。 

第三研究和实现了类SVD算法通过置信度和准确度来实现最佳定位结果的生成算法,有效提升定位结果的准确性。

数据集是地理定位实现模型的数据基础,地理定位即是根据特定的需求对数据集的参考和更新过程。数据集包含以下几个部分:

• BGP数据:BGP路径信息由 Routeviews项目提供,BGP路径信息包含路由器连接的网络前缀和AS路径。

• 地理组:从3个途径收集部分IP对应地理位置的信息,以(网络地址、网络前缀、地域名称、经度、纬度、可信等级)的形式存储。这3个途径包括:1)部分网站用户信息的收集;2)手工向提供地理位置信息服务机构提交査询得到的信息;3)开放软件中公开的部分信息。

• 路径信息:在验证阶段保存 traceroute的路径信息,以路径结点为单位记录其前驱和后继的网络地址、RTT,地理信息、可信等级等。

• 编码信息:地理信息经常以编码形式被嵌入在一些以城市、州、国家名缩写为DNS名的路由器中。对这些路由器名称的分析结果表明,有3种基本类型的编码暗示位置:1)城市编码:许多ISP用无特征的城市编码或州编码定义主机名称,可以给出一些地理信息的线索;2)机场编码:一些ISP以他们所在城市的机场编码为基础命名DNS。由于机场编码是世界范围的,这样的命名习惯可以暗示部分路由器的位置;3)国家编码:国家编码是基于ISO3166中定义的国家代码,国家信息对于判别依靠国家或机场编码定位结果的正确性非常必要。

地理位置定位实现的主要阶段

地理位置定位需要从以下几个阶段:定位、验证和聚类,如图所示:

“挂图作战”网络实体定位技术

定位模块根据定位请求,参考数据源已有信息,通过定位算法确定目标的基本位置。在验证阶段,利用 traceroute原理和传输延迟判断结果的可靠性,并对不可靠的结果给出可能的猜测,同时更新数据源中地理组信息。在聚类阶段,进一步调整合理的网络地址前缀与地理位置的关系。

(部分资料来源于网络,如有涉及请联系删除)

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
专注IP定位 专注IP定位
2年前
ISC大会之新型网络犯罪打击与治理指南
随着国家数字化进程与网络信息技术的迅速发展,传统违法行为以“电信、互联网”为介质,变异为“新型网络犯罪”。犯罪形式多样、群体年轻化、成本低等便利条件,使得互联网成为网络诈骗“新战场”!本次大会就“新型网络犯罪打击与治理”展开全方位论述。郑州埃文计算机科技有限公司联合创始人李腾飞特受邀出席此次盛会,2021年7月28日下午4:00《超高精度IP地址定位在新型网
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
不是海碗 不是海碗
1年前
IP 归属地查询 API 教你从0到1顺着网线找到键盘侠
IP归属地是利用大数据挖掘和大规模网络探测技术,对IP地址的基础信息和网络拓扑数据进行采集、处理,结合IP地址所在的应用场景与网络属性等因素,利用动态密度聚类算法和基于多层神经网络的IP地址定位算法,完成IP地址地理位置定位。
Stella981 Stella981
2年前
Python+Selenium自动化篇
本篇文字主要学习selenium定位页面元素的集中方法,以百度首页为例子。0.元素定位方法主要有:id定位:find\_element\_by\_id('')name定位:find\_element\_by\_name('')class定位:find\_element\_by\_class\_name(''
Wesley13 Wesley13
2年前
IP地理位置定位系统之定位系统研发
IP地理位置定位系统是一个街道级别的、实时的IP地理位置查询系统。该系统采用超高精度IP实时定位技术,通过网络测量和大数据挖掘,对IP的地理位置和相关属性进行测量,在无需硬件支持的条件下,即可对被探测目标终端IP完成定位。定位系统的研发核心是IP地理位置定位算法,包含如何划分IP所属功能块和地域块、设计IP定位算法、采用什么样的相似度比较策略、IP地理位
Wesley13 Wesley13
2年前
IP库购买需要注意哪些事项?
众所周知IP地址数据库在众多领域具有重要意义。互联网安全行业攻防定位方面,通过定位IP,确定网络攻击IP的来源,进行网络安全防御。如政府部门,通过定位网络攻击IP的地理位置,确定网络攻击的发起位置。互联网金融行业风险控制方面,互联网金融征信、反欺诈和位置核验。如保险公司,通过确定客户IP的位置,确定客户是否出现在常住地,从而降低信贷风险。互联网
Wesley13 Wesley13
2年前
IP地址定位技术中基础数据采集怎么做?
IP地理位置定位技术,包含基础数据采集、硬件系统搭建、应用场景划分和定位系统研发四项关键技术。基础数据采集为IP地理位置定位技术的研究提供基础数据支撑,是IP地址定位的基础性工作和关键技术。首先,按照不同的数据采集规则,针对不同数据源的数据格式,研究并实现一套自动化的智能化的数据采集技术;其次,对采集到的数据进行筛选、清洗和挖掘,形成基础数据库,为系统提
Wesley13 Wesley13
2年前
IP地址定位技术之一:基础数据采集
IP地理位置定位技术,包含基础数据采集、硬件系统搭建、应用场景划分和定位系统研发四项关键技术。基础数据采集为IP地理位置定位技术的研究提供基础数据支撑,是IP地址定位的基础性工作和关键技术。首先,按照不同的数据采集规则,针对不同数据源的数据格式,研究并实现一套自动化的智能化的数据采集技术;其次,对采集到的数据进行筛选、清洗和挖掘,形成基础数据库,为系统提
不是海碗 不是海碗
9个月前
一文教你如何利用 IP归属地查询API 进行统计分析
在互联网时代,IP地址扮演着非常重要的角色,它可以帮助我们追踪网站访问者、优化网络服务等等。而IP归属地则更进一步,它可以帮助我们精确地定位IP地址所在的地理位置,为统计分析、网络安全、市场调研等领域提供了极大的帮助。