【问题排查篇】一次业务问题对 ES 的 cardinality 原理探究 | 京东云技术团队
小编工作中负责业务的一个服务端系统,使用了Elasticsearch服务做数据存储,业务运营人员反馈,用户在使用该产品时发现,用户后台统计的订单笔数和导出的订单笔数不一致!对此进行排查并进行总结
Wesley13 Wesley13
3年前
MongoDB 连接数高产生原因及解决
MongoDBSharding架构下连接数很容易达到很高,这里连接数分为几个概念:tcp连接数netstat可以统计的,一般这个是最高.如果mongod/mongos在同一台服务器,更明显。参考命令:netstatant|awk'{print$5}'|awkF:'{print$1}'|sort|uniqc|sort
Stella981 Stella981
3年前
Python爬取所有人位置信息,制作任意区域人流量显示图
击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤衣裳已施行看尽,针线犹存未忍开。最近偶然看到了腾讯的大数据星云图,非常漂亮,如下图:!(https://oscimg.oschina.net/oscnet/6dc6022d4dfb49
Stella981 Stella981
3年前
Github Statistics 一个基于 React 的 GitHub 数据统计工具
!GitHub(https://userimages.githubusercontent.com/56643819/714288678732710026fe11ea876911be8fd257f8.png)V站曾经有个热帖说为何我的开源项目只有Fork没有Star,楼下有个热评说开源项目关注的不应该是Commit数据吗?先不论
Stella981 Stella981
3年前
Python计算IV值
_更多大数据分析、_建模_等内容请关注公众号《_bigdata__modeling___》_在对变量分箱后,需要计算变量的重要性,IV是评估变量区分度或重要性的统计量之一,python计算IV值的代码如下:defCalcIV(Xvar,Yvar):N_0np.sum(Yva
Wesley13 Wesley13
3年前
mysql中写存储过程加定时任务
本来项目中下用quartz定时任务来做数据报表的定时计算插入,后面考虑性能改为mysql中写存储过程加定时任务。定时每周日计算所有员工相关工作量,插入统计数据表中BEGINdeclaresumwlFLOAT;/完成/declareremovewlFLOAT;/扣除/declareaddwl
Wesley13 Wesley13
3年前
MySQL IN语法注意事项一则
最近发现mysql中,Int型字段的默认值会直接影响IN语法的查询。如test表有个字段uid为int类型,默认值如果允许NULL,则下面的代码统计会不正确。//返回110条记录SELECTcount(1)FROMtest//若返回2条数据SELECT
【Clickhouse】ReplaceingMergeTree引擎final实现合并去重探索 | 京东云技术团队
为了保证统计数据的准确性,比如订单金额,一个常用的方法是在查询时增加final关键字。那final关键字是如何合并数据的,以及合并的数据范围是怎样的,本文就对此做一个简单的探索。
E小媛同学 E小媛同学
1年前
车牌识别 OCR API 的实际应用:智能停车、安防与数据统计
车牌识别OCR技术作为一种智能化的识别系统,在现代城市的交通管理和安全领域发挥着越来越重要的作用。本文将探讨车牌识别OCR接口在智能停车、安防监控以及数据统计方面的实际应用。