Python进阶者 Python进阶者
3年前
Python网络爬虫中重新请求,请问有什么比较好的解决方法?
大家好,我是皮皮。一、前言前几天在Python钻石群有个叫【某嘟】的粉丝问了一个关于Python网络爬虫中重新请求的问题,这里拿出来给大家分享下,一起学习。二、解决过程这里【DIY】大佬给了一个思路,确实可行。不过后来她自己又找到了一个更好的方法,找到一个HTTPAdapter可以实现超时重试,大概用法如下:fromrequests.adapter
Wesley13 Wesley13
3年前
java增量发布工具
有些公司由于没有使用maven作为构建工具,全量发布时没问题,而修改bug增量发布往往是将改动的代码手动编译后,从classes目录下拷贝到jar中然后再放到tomcat目录下发布,这种方法准确度不高,当修复bug时间跨度较大且文件较多时就不好提供了,下面介绍下一个增量打包工具https://gitee.com/lpxs/ProjectPatch.git
Wesley13 Wesley13
3年前
MySQL锁机制
一、概述1,锁的定义锁是计算机协调多个进程或线程并发访问某一资源的机制在数据库中,除传统的计算机资源(如CPU、RAM、I/O等)的争用以外,数据也是一种供许多用户共享的资源如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题,锁冲突也是影响数
Stella981 Stella981
3年前
BIO、NIO、AIO系列二:Netty
一、概述Netty是一个Java的开源框架。提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序。Netty是一个NIO客户端,服务端框架。允许快速简单的开发网络应用程序。例如:服务端和客户端之间的协议,它简化了网络编程规范。二、NIO开发的问题
Stella981 Stella981
3年前
Openshift 4.3环境的离线Operatorhub安装
这几天在客户环境中搞Operatorhub的离线,因为已经安装了OpenShift4.3的集群,所以目标是只将考核的ServiceMesh和Serverless模块安装上去即刻,因为前期工作关系,我曾在离线的4.2环境安装过类似组件,所以稍作准备就出发了,但这几天遇到的问题和坑确实不少,4.3和4.2相比在离线方面有很大的改进,但又埋了另外一些坑,本文算
Wesley13 Wesley13
3年前
C++ 多线程编程总结
在开发C程序时,一般在吞吐量、并发、实时性上有较高的要求。设计C程序时,总结起来可以从如下几点提高效率:并发异步缓存下面将我平常工作中遇到一些问题例举一二,其设计思想无非以上三点。1任务队列1.1   以生产者消费者模型设计任务队列      生产者消费者模型是人们非常熟
Stella981 Stella981
3年前
Akka
在实际应用中,集群环境里共用一些数据是不可避免的。我的意思是有些数据可以在任何节点进行共享同步读写,困难的是如何解决更改冲突问题。本来可以通过分布式数据库来实现这样的功能,但使用和维护成本又过高,不值得。分布式数据类型distributeddata(ddata)正是为解决这样的困局而设计的。akka提供了一组CRDT(ConflictFreeReplic
Wesley13 Wesley13
3年前
BFPRT线性查找算法
介绍:BFPRT算法解决的问题十分经典,即从某n个元素的序列中选出第k大(第k小)的元素,通过巧妙的分析,BFPRT可以保证在最坏情况下仍为线性时间复杂度。该算法的思想与快速排序思想相似,当然,为使得算法在最坏情况下,依然能达到o(n)的时间复杂度,五位算法作者做了精妙的处理。时间复杂度O(N)算法步骤
Stella981 Stella981
3年前
Redis3.0安装 for win10
平时没有用过nosql,这次准备自己安装Redis学习学习,我首先选择的版本是Redis3.0.1windowsX64版本,使用win10系统(感觉开虚拟机太麻烦),有问题请不要见笑,可以指点谢谢在官方下载后发现与网上的大部分安装说明都不一样,查了一下资料才知道,需要编译一下,所以我直接下载了编译后的文件,‍‍‍‍https://yunpan
Stella981 Stella981
3年前
Service Mesh在百度网盘数万后端的实践落地
1背景起初,在网盘快速发展期,为了快速上线,采用了服务单体化主干开发模式进行研发,随着用户规模爆发式的增长以及产品形态的丰富,单体化的不足就体现出来了,于是架构上采用了微服务架构,开始对业务逻辑进行拆分部署。服务拆分之后,也引入了新的问题,具体如下:\\请求路由:\\服务部署从物理机向虚拟化方式迁移中,有大量的切流量操作