手把手教你用Python替代Mapinfo更快查找两张表中距离最近的点

Irene181
• 阅读 1877

一、前言

大家好,我是崔艳飞。工作中有时需要把A表中的经纬度点,从B表中匹配一个最近的点出来,用Mapinfo也可以实现,但处理速度慢,特别是数据量大时根本处理不动,此时用Python就能轻松实现,还能显示处理进度,详细如下。

二、项目目标

用Python实现两张表间最近点的计算。

三、项目准备

软件:PyCharm

需要的库:pandas, xlrd,os

四、项目分析

1)如何选择并读取要处理的Excel文件?

利用os、xlrd,选择要读取处理的Excel文件。

2)如何计算两个经纬度点的距离?

利用pandas库读取两张表的内容,再定义函数计算两个经纬度点的距离。

3)如何循环计算并保存最近一个点的数据?

利用For循环,对两张表的内容进行循环读取,通过If判断保留最近的距离点数据。

4)如何保存结果?

利用to_excel保存,得到最近点的数据。

五、项目实现

1、第一步导入需要的库

import pandas as pd
import xlrd
import os

2、第二步选择并读取要处理的Excel文件

path="D:/a/"
    #获取文件夹下所有EXCEL名
    bb = path + 'result.xlsx'
    writer = pd.ExcelWriter(bb,engine='openpyxl')
    xlsx_names = [x for x in os.listdir(path) if x.endswith(".xlsx")]
    # 获取第一个EXCEL名
    xlsx_names1 = xlsx_names[0]
    aa = path + xlsx_names1
    #打开第一个EXCEL
    first_file_fh=xlrd.open_workbook(aa)
    # 获取SHEET名
    first_file_sheet=first_file_fh.sheets()

3、第三步循环计算并保存最近一个点的数据

for i in range(h1):
        w1=df1.loc[i,'纬度']
        j1 = df1.loc[i,'经度']
        d1 = df1.loc[i, :]
        d0=10000000000000000000000000.0000
        print("原小区第%d个。" %(i+1))
        test_dict = {'距离': [d0]}
        d3 = pd.DataFrame(test_dict)

        for l in range(h2):
            w2=df2.loc[l, '纬度']
            j2=df2.loc[l,'经度']
            d=haversine(j1, w1, j2, w2)
            if d<d0:
                d0=d
                d2 = df2.loc[l, :]
                test_dict = {'距离': [d0]}
                d3 = pd.DataFrame(test_dict)
            else:continue

4、第四步保存计算后的文件

resultdata1.to_excel(excel_writer=writer, sheet_name='原小区', encoding="utf-8", index=False)
  resultdata2.to_excel(excel_writer=writer, sheet_name='最近小区', encoding="utf-8", index=False)
  resultdata3.to_excel(excel_writer=writer, sheet_name='距离', encoding="utf-8", index=False)
  writer.save()
  writer.close()

六、效果展示

1、处理前数据:

手把手教你用Python替代Mapinfo更快查找两张表中距离最近的点

2、处理进度显示:

手把手教你用Python替代Mapinfo更快查找两张表中距离最近的点

3、处理结果:

手把手教你用Python替代Mapinfo更快查找两张表中距离最近的点

七、总结

本文介绍了如何利用Python计算两个经纬度点间的距离,并在两张表间进行最近点计算,这本来是Mapinfo的分内之事,但数据量大时就处理不动了,Python处理速度快,还能对数据进行预处理,正是由于可以自己优化代码,可以无限提高运行速度,比如数据切块处理,有兴趣的同学可以进一步研究下。

最后需要本文项目代码的小伙伴,请在公众号后台回复“经纬度”关键字进行获取,如果在运行过程中有遇到任何问题,请随时留言或者加小编好友,小编看到会帮助大家解决bug噢!

**-----**------**-----**---**** End **-----**--------**-----**-****

手把手教你用Python替代Mapinfo更快查找两张表中距离最近的点

往期精彩文章推荐:

手把手教你用Python替代Mapinfo更快查找两张表中距离最近的点

欢迎各位大佬点击链接加入群聊【helloworld开发者社区】:https://jq.qq.com/?_wv=1027&k=mBlk6nzX进群交流IT技术热点。

本文转自 https://mp.weixin.qq.com/s/bTnO13la_4GjiHk1-5bWHQ,如有侵权,请联系删除。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Irene181 Irene181
2年前
手把手教你用Python实现Excel中的Vlookup功能
一、前言大家好,我是崔艳飞。工作中经常会遇到,需要把两张Excel或Csv数据表通过关键字段进行关联,匹配对应数据的情况,Excel虽有Vlookup函数可以处理,但数据量大时容易计算机无响应,可能出现数据丢失,处理速度较慢是软肋,而Python只需几行代码就能轻松实现,且处理速度快,详细如下。二、项目目标用Python实现两张Excel或Csv表数据关
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
Python3:sqlalchemy对mysql数据库操作,非sql语句
Python3:sqlalchemy对mysql数据库操作,非sql语句python3authorlizmdatetime2018020110:00:00coding:utf8'''
Stella981 Stella981
2年前
Python之time模块的时间戳、时间字符串格式化与转换
Python处理时间和时间戳的内置模块就有time,和datetime两个,本文先说time模块。关于时间戳的几个概念时间戳,根据1970年1月1日00:00:00开始按秒计算的偏移量。时间元组(struct_time),包含9个元素。 time.struct_time(tm_y
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
为什么mysql不推荐使用雪花ID作为主键
作者:毛辰飞背景在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究
Python进阶者 Python进阶者
2个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这