BichonCode BichonCode
5年前
大数据排序
一、如何给100亿个数字进行排序? 1.1解答:1.把这个37GB的大文件,用哈希分成1000个小文件,每个小文件平均38MB左右(理想情况),把100亿个数字对1000取模,模出来的结果在0到999之间,每个结果对应一个文件,所以我这里取的哈希函数是hx%1000,哈希函数取得"好",能使冲突减小,结果分布均匀。2.拆分完了之后
Stella981 Stella981
4年前
GeoJson数据合并
本文主要是基于geojsonmerge,实现多个geojson文件合并为一个geojson文件,以便实现基于该文件进行数据分析展示geojson合并概述当前在datav的geoatlas中,可以下载单个地市或区县的数据,例如福建省下面每个地市都可以单独下载一个geojson文件,现在需要将所有地市的geojson合并为
Stella981 Stella981
4年前
Kafka数据管道
!(https://oscimg.oschina.net/oscnet/262e5315515049e3b8c5e90db095ee07.gif)点击上方「蓝字」关注我们!(https://oscimg.oschina.net/oscnet/44452348bf1c4f6cba0522378b6abbb5.png)!(
Wesley13 Wesley13
4年前
MySQL数据迁移
最开始安装的mysql8.0.16winx64解压版,发现并没有使用my.ini。所以在迁移需要改动my.ini(实际还是可以不需要)时,遇到麻烦,所以卸载了重新安装了mysql8.0.18winx64解压版。主要使用命令mysqldump和source(需要配置系统环境变量或者在bin目录下运行)。导出时:mys
Wesley13 Wesley13
4年前
mysql数据过滤
1、AND操作符:select表的字段名from对应的表名where表的字段名AND表的字段名运算符值;例子:selectprod\_id,prod\_price,prod\_namefromproductswhereven\_id1003ANDprod\_price<10;2、OR操作符:sele
Wesley13 Wesley13
4年前
Java学习笔记
基础常识软件:一系列按照特定顺序组织的计算机数据和指令的集合常见的软件:系统软件:如:DOS,windows,Linux等应用软件:如:扫雷,迅雷,QQ等软件的出现实现了人与计算机之间的更好的交互交互方式:图形化界面:这种方式简单直观,使用者易于接受,容易上手操作命令行方式:需要有一
Stella981 Stella981
4年前
618 前端竞品分析研究(互动篇)
智能化测试—在互动中经常需要维护大量的状态,对这些状态进行测试验证成本较高,尤其是当有功能变动需要回归测试的时候。为了降低开发测试的成本,在这方面使用强化学习模拟用户行为,在两个方面提效:mock接口:将学习过程中的状态作为服务接口的测试数据;回归测试:根据mock
Wesley13 Wesley13
4年前
mysql 插入数据
简单用法:insertintotb\_name(字段1,字段2,.........)values(值1,值2,.....)注意,字段个数必须和值的个数一致。字符用引号引起来,数字不用,插入空值使用null批量插入:insertintotb\_name(字段1,字段2,.........)values(值1,值2,.....
智慧物流设备和物联网组件化
与人工智能算法一样,智能物流设备和物联网近年来发展迅速,其在仓储、物流、运输、制造(阿里的灰犀牛)等领域的应用加速了自动化和无人供应链的进程。物联网开启万物互联时代,打通现实世界与数字世界的通道。通过传感器,物联网可以将真实的光电信号转化为数据,这
传统数据存储
通常情况下,业务系统产生的大量日志都是集中存储处理的。集中存储是指有一个由大型主机或多台主机组成的中心节点,数据集中存储在这个中心节点上,整个系统的所有业务单元都集中部署在这个中心节点上。数据计算几乎完全依赖于一台中大型中央计算机的处理能力。系统的所有功能