京东云开发者 京东云开发者
12个月前
供应链大屏设计实践
概述在物流系统相关的大屏中,供应链大屏复杂度较高,数据链路较长,稳定性要求较高,当前大屏已经经过2年时间的打磨,整体表现已经相对比较成熟稳定。本文描述了物流供应链业务较复杂的业务场景下,结合了大数据计算相关技术,总结了实时监控大屏指标建设和服务构建的框架和
京东云开发者 京东云开发者
12个月前
分享一次海量数据平滑迁移实战
背景采购系统(BIP)在经历多年演进后,系统整体复杂度和数据量俨然已经极具规模,本文着重讨论海量数据的治理存储现状:工程端实时订单库采用MySQL5.5集群,其中主库配置为32C/48G/6000G,无法归档的订单热数据占磁盘空间85%(5.1T)痛点:6
小白学大数据 小白学大数据
12个月前
使用Scrapy进行网络爬取时的缓存策略与User-Agent管理
缓存策略的重要性缓存策略在网络爬虫中扮演着至关重要的角色。合理利用缓存可以显著减少对目标网站的请求次数,降低服务器负担,同时提高数据抓取的效率。Scrapy提供了多种缓存机制,包括HTTP缓存和Scrapy内置的缓存系统。HTTP缓存HTTP缓存是基于HT
封氏 封氏
11个月前
枚举应用
C中的枚举是一项强大的功能,可用于定义一组命名的整型常量。虽然枚举本身非常有用,但您可以使用多种技术和最佳实践在功能、可读性和可维护性方面将它们提升到一个新的水平。以下是一些提示flags属性如果枚举表示一组标志,请考虑使用该属性。这允许您使用按位OR运算
京东云开发者 京东云开发者
11个月前
数字化时代的数据管理:多样化数据库选型指南
非常感谢Kevin和张健对本文提供的建议和指导。1.概述在数字化时代,数据是企业最宝贵的资产之一。随着技术的进步和数据量的爆炸性增长,如何有效地存储、管理和分析这些数据成为每个企业面临的重大挑战。数据库作为数据管理的核心技术,其选型对于系统至关重要。传统的
京东云开发者 京东云开发者
11个月前
使用mybatis切片实现数据权限控制
一、使用方式数据权限控制需要对查询出的数据进行筛选,对业务入侵最少的方式就是利用mybatis或者数据库连接池的切片对已有业务的sql进行修改。切片逻辑完成后,仅需要在业务中加入少量标记代码,就可以实现对数据权限的控制。这种修改方式,对老业务的逻辑没有入侵
Python进阶者 Python进阶者
11个月前
Pandas我这个填充nan值为什么填充不上呢?
大家好,我是Python进阶者。一、前言前几天在Python钻石交流群【逆光】问了一个Python数据处理的问题,问题如下:请问一下,我这个填充nan值为什么填充不上呢二、实现过程这里【瑜亮老师】给了个思路如下:试试看这样,代码如下:sfmergetota
阮小五 阮小五
11个月前
Nginx入门学习笔记
Nginx是一款面向性能设计的HTTP服务器,能反向代理HTTP,HTTPS和邮件相关(SMTP,POP3,IMAP)的协议链接。并且提供了负载均衡以及HTTP缓存。它的设计充分使用异步事件模型,削减上下文调度的开销,提高服务器并发能力。采用了模块化设计,