IP地址定位技术中基础数据采集怎么做?

Wesley13
• 阅读 467

IP地理位置定位技术,包含基础数据采集、硬件系统搭建、应用场景划分和定位系统研发四项关键技术。

基础数据采集为IP地理位置定位技术的研究提供基础数据支撑,是IP地址定位的基础性工作和关键技术。首先,按照不同的数据采集规则,针对不同数据源的数据格式,研究并实现一套自动化的智能化的数据采集技术;其次,对采集到的数据进行筛选、清洗和挖掘,形成基础数据库,为系统提供基础数据支撑。

基础数据采集的研究内容包含确定数据源(如Whois开放数据等)、分析数据采集的方法(如网络爬虫、数据交换、地面采集等)、各种数据采集方法的可行性分析及实现方案、确定采集数据的属性值(如地理位置、经纬度、所属运营商等)、数据的清洗办法、数据的正确性验证步骤、基础数据的迭代更新流程等。

为了保证数据质量和数据丰富性,针对不同的数据源,系统通过三种方式获取基础数据,分别是数据挖掘、数据采购、地面采集。数据挖掘是指通过网络爬虫,从特定网页如APNIC网站、BGP网站、地图类网站中获取IP及地理位置信息;数据采购是指从可以提供基础数据的公司进行数据采购,例如某本地服务网站、某网络打车网站等;地面采集是指利用自主研发的数据采集软件,进行人工实地数据采集。

IP地址定位技术中基础数据采集怎么做?

数据采集技术已存在多个开源的第三方框架,例如Scrapy、Nutch、Crawler4j、WebMagic等;数据挖掘算法,例如支持向量机SVM、K-Means等,都已得到广泛应用。

本文同步分享在 博客“郑州埃文科技”(FreeBuf)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
专注IP定位 专注IP定位
2年前
“挂图作战”网络实体定位技术
在当今互联网的浪潮下,网络给人们带来了巨大的经济效益和便利。广告商通过判断网络用户的位置来推送精确的广告;网络安全人员通过定位IP位置来确定网络故障的所在,及时排除故障。因此对于IP地址的实体地理位置定位技术的研究就显的愈发的重要。  随着IP定位技术的发展,集成的IP定位系统就是将国内外优秀的IP定位数据库汇集到一起,附加抓取一些WHOIS和DNS.LOC
不是海碗 不是海碗
1年前
IP 归属地查询 API 教你从0到1顺着网线找到键盘侠
IP归属地是利用大数据挖掘和大规模网络探测技术,对IP地址的基础信息和网络拓扑数据进行采集、处理,结合IP地址所在的应用场景与网络属性等因素,利用动态密度聚类算法和基于多层神经网络的IP地址定位算法,完成IP地址地理位置定位。
Wesley13 Wesley13
2年前
IP地址定位之IP画像——如何形成IP用户画像?
IP用户画像系统的研究内容,包含采集IP用户的网络行为数据、对IP知识库进行特征提取等。那么我们如何形成用户画像?如图1所示,以在线广告领域的应用为例,介绍IP用户画像的形成流程,一共分为四步。!image.png(https://oscimg.oschina.net/oscnet/up1b0a82a7ce8647ce500b822e4bc8731
Wesley13 Wesley13
2年前
IP定位领域中相关名词解释
1、数据挖掘数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程,系统中的数据挖掘是指利用计算机技术对基准点、IP开源信息、IP应用场景等IP相关数据的采集、过滤和分析处理,对IP的属性进行探测的过程。2、网络测量网络测量是指利用探测机对IP的网络属性进行探测的过程,包含IP存活性、IP上层路由器拓扑连接关系和网络时延等网络信息。3
Wesley13 Wesley13
2年前
IP地理位置定位系统之定位系统研发
IP地理位置定位系统是一个街道级别的、实时的IP地理位置查询系统。该系统采用超高精度IP实时定位技术,通过网络测量和大数据挖掘,对IP的地理位置和相关属性进行测量,在无需硬件支持的条件下,即可对被探测目标终端IP完成定位。定位系统的研发核心是IP地理位置定位算法,包含如何划分IP所属功能块和地域块、设计IP定位算法、采用什么样的相似度比较策略、IP地理位
Stella981 Stella981
2年前
SpreadJS 应用案例:电力自动化在线数据采集报表系统
电力自动化在线数据采集报表系统,由南京畅洋科技有限公司自主研发。使用该系统,用户只需简单的配置,便可轻松获取想要的数据。该系统通过嵌入SpreadJS纯前端表格控件,可应对电力系统中针对数据处理的各项需求,让数据变得更有价值。下面,让我们一起来看看如何在“电力自动化在线数据采集报表系统”中应用表格技术,实现“数据填报(https://www.osch
Stella981 Stella981
2年前
SpreadJS 纯前端表格控件应用案例:MHT
由明厚天股份研发的数据填报采集平台,提供了便于用户操作的类Excel界面模式,可为用户提供规范、正确、完整的数据采集和填报模型,结合数据自动化抽样,可解析不同数据库、不同数据格式的数据,让数据填报流程更简单、更快速、更顺畅。下面,让我们一起来看看明厚天股份是如何在“MHTCP数据填报采集平台”中应用表格技术,实现“数据填报(https://www.
Wesley13 Wesley13
2年前
IP地址定位技术之一:基础数据采集
IP地理位置定位技术,包含基础数据采集、硬件系统搭建、应用场景划分和定位系统研发四项关键技术。基础数据采集为IP地理位置定位技术的研究提供基础数据支撑,是IP地址定位的基础性工作和关键技术。首先,按照不同的数据采集规则,针对不同数据源的数据格式,研究并实现一套自动化的智能化的数据采集技术;其次,对采集到的数据进行筛选、清洗和挖掘,形成基础数据库,为系统提
大数据丨独家内部教材,让你掌握前沿技术算法
大数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用大数据安全等)。大数据采集技术:数据是指通过REID射频数据、传威器数据、社交网络交互数据及移动互联
邢德全 邢德全
3个月前
数据采集在制造业中的应用场景
万界星空科技生产制造执行MES系统具有能够帮助企业实现生产数据收集与分析、生产计划管理、生产过程监控等的功能板块,数据采集是MES系统进行数据统计与生产管理等后续工作的基础,MES设备数据采集是实现智能制造的重要环节,能够实现设备智能化、数据化决策、提高生产效率和降低成本等优点。