Stella981 Stella981
3年前
Python爬虫代理池
爬虫代理IP池在公司做分布式深网爬虫,搭建了一套稳定的代理池服务,为上千个爬虫提供有效的代理,保证各个爬虫拿到的都是对应网站有效的代理IP,从而保证爬虫快速稳定的运行,当然在公司做的东西不能开源出来。不过呢,闲暇时间手痒,所以就想利用一些免费的资源搞一个简单的代理池服务。1、问题代理IP从何而来?
Stella981 Stella981
3年前
Spring boot 整合 Redisson
1  概述  Redisson实现了分布式和可扩展的Java数据结构,功能较为简单,不支持字符串操作,不支持排序、事务、管道、分区等Redis特性。Redisson的宗旨是促进使用者对Redis的关注分离,从而让使用者能够将精力更集中地放在处理业务逻辑上。2    特点1.Redisson中的方法则是进行比较高的抽象,每个方法调用可能进行了
Stella981 Stella981
3年前
Hystrix的介绍和简单使用
这周在看项目的相关代码时,接触到了Hystrix,因此查询了相关资料学习了下。一、什么是Hystrix  Hystrix是Netflix针对微服务分布式系统的熔断保护中间件,当我们的客户端连接远程的微服务时,有两种情况需要考虑:首先,如果远程系统当机了我们怎么办?其次,我们如何管理对远程微服务的调用性能,以保证每个微服务以最小延迟最快性能
Stella981 Stella981
3年前
Spark学习之路 (十七)Spark分区
一、分区的概念  分区是RDD内部并行计算的一个计算单元,RDD的数据集在逻辑上被划分为多个分片,每一个分片称为分区,分区的格式决定了并行计算的粒度,而每个分区的数值计算都是在一个任务中进行的,因此任务的个数,也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区  数据分区,在分布式
linbojue linbojue
1个月前
java技术文档怎么写-java编程思想
文中是对Java程序员面试必不可少知识要点的汇总,详尽解读了JVM基本原理,线程同步,算法设计和优化算法,分布式缓存,策略模式等。期待阅读者根据阅读文章这本书可以对Java的基本概念有更多更全方位的掌握。招聘者一般在短短的两个小时内就对招聘者的知识体系拥有
2025可信数据库发展大会召开,天翼云TeleDB领航核心系统创新实践!
近日,“2025可信数据库发展大会”在北京隆重召开。作为数据库产业的重要建设者,天翼云受邀出席,联合中国信息通信研究院及中国通信标准化协会大数据技术标准推进委员会(CCSATC601)发布多项最新技术实践成果,并进行了“中国电信天翼云分布式数据库创新之路”
事务,不只ACID | 京东物流技术团队
不论是ACID事务还是基于流处理系统的分布式事务,它们都保证数据的完整性。因为违反及时性可能会令人困惑,不过这只是暂时的,但是如果违反完整性,那么它的结果可能是灾难性的。违反一致性,最终一致性;违反完整性,永无一致性,是最好的概括
Vitess全局唯一ID生成的实现方案 | 京东云技术团队
为了标识一段数据,通常我们会为其指定一个唯一id,比如利用MySQL数据库中的自增主键。但是当数据量非常大时,仅靠数据库的自增主键是远远不够的,并且对于分布式数据库只依赖MySQL的自增id无法满足全局唯一的需求。因此,产生了多种解决方案,如UUID,Sn
常见应用层DDoS攻击
本文分享自天翼云开发者社区《》,作者:罗文DDoS(分布式拒绝服务)应用层攻击是一种针对网络应用层的攻击方式。应用层是网络协议栈中最高级别的层次,负责处理用户与网络应用之间的交互。在应用层攻击中,攻击者通过发送大量的恶意请求或者利用应用层协议的漏洞,使目标