Wesley13 Wesley13
3年前
java爬虫进阶 —— ip池使用,iframe嵌套,异步访问破解
写之前稍微说一下我对爬与反爬关系的理解一、什么是爬虫   爬虫英文是splider,也就是蜘蛛的意思,web网络爬虫系统的功能是下载网页数据,进行所需数据的采集。主体也就是根据开始的超链接,下载解析目标页面,这时有两件事,一是把相关超链接继续往容器内添加,二是解析页面目标数据,不断循环,直到没有url解析为止。举个栗子:我现在要爬取苏宁手机价
Stella981 Stella981
3年前
Redkale 让你重新认识Java
        Java已经22岁了,依靠强大的功能、庞大的开发社区和无人能及的生态系统,长期占据世界编程语言排行榜首,成为当之无愧的业界之王。本人在大学时期被这种很有艺术性的开发语言所吸引,果断抛弃C,学习方式很简单,只看JDKAPI源码,直到现在都是如此。刚毕业就一直从事Java开发方面的工作,至今也有十来年了。从JSP、WebWork到Struts
Stella981 Stella981
3年前
Linux IO 概念(1)
基础概念文件描述fd        文件描述符(filedescription),用于表述指向文件引用的抽象话题概念文件描述符在形式上是一个非负整数,实际上它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表,当程序打开一个现有文件或者创建一个新文件时,内核就向该进程返回一个文件描述符        unix系统把任何对象看做
Stella981 Stella981
3年前
Spring Cloud系列教程(十):分布式配置中心Spring Cloud Config(Finchley版本)
一、前言在分布式、微服务系统架构中,一个大的项目在进行服务拆分之后,变成了众多个子服务,由于服务的数量居多,每个服务都有自己的一套配置文件,这时候就不像传统的单体架构SSM、SSH、以及当下比较流行的SpringBoot快速开发框架,一个项目基本一份配置文件就可以搞定。而在微服务项目架构中,为了方便众多个服务的配置文件统一进行集中管
Wesley13 Wesley13
3年前
Java,传奇的一生!
 如果说用“永存、曲折、已死、重生”来形容Java,笔者以为一点也不为过。1991年,JamesGosling带领着名为“GreenTeam”的团队着手研发一种新的语言以及专为下一代数字设备和计算机使用的网络系统。历时4年辛勤工作后,该项目最终修成正果并取名为Java。 Java有着类似于C的语法并有“一次编译,随处运行”的灵便性。透过虚拟机机制
Wesley13 Wesley13
3年前
Java面试官最常问的volatile关键字
在Java相关的职位面试中,很多Java面试官都喜欢考察应聘者对Java并发的了解程度,以volatile关键字为切入点,往往会问到底,Java内存模型(JMM)和Java并发编程的一些特点都会被牵扯出来,再深入的话还会考察JVM底层实现以及操作系统的相关知识。接下来让我们在一个假想的面试过程中来学习一下volitile关键字吧。1\.Java并发
Wesley13 Wesley13
3年前
APM 原理与框架
APM简介随着微服务架构的流行,一次请求往往需要涉及到多个服务,因此服务性能监控和排查就变得更复杂:不同的服务可能由不同的团队开发、甚至可能使用不同的编程语言来实现服务有可能布在了几千台服务器,横跨多个不同的数据中心因此,就需要一些可以帮助理解系统行为、用于分析性能问题的工具,以便发生故障的时候,能够快速定位和解决问题,这就是
Stella981 Stella981
3年前
Python垃圾回收机制
对于Python垃圾回收机制主要有三个,首先是使用引用计数来跟踪和回收垃圾,为了解决循环引用问题,就采用标记清除的方法,标记清除的方法所带来的额外操作实际上与系统中总的内存块的总数是相关的,当需要回收的内存块越多,垃圾检查带来的额外操作就越多,为了提高垃圾收集的效率,采用“空间换时间的策略”,即使用分代机制,对于长时间没有被回收的内存就
Stella981 Stella981
3年前
Google Chrome浏览器开发人员工具
准备工作要开始使用开发人员工具,请先下载GoogleChrome浏览器。在浏览器安装完成后,您可以打开自己感兴趣的网页或网络应用程序,然后通过下面任何一种方式进入开发人员工具:l 点击位于浏览器用户界面右上角的“页面”下拉菜单l 右键点击网页上的任一元素,在弹出菜单中选择“审查元素”。l 在Windows操作系统上,使用
天翼云分布式缓存服务(Redis)的应用场景(干货)
作为分布式缓存系统,Redis大量的应用于互联网行业的各类应用,即使是传统行业,只要是面向公众客户的互联网应用,因用户数的激增,也纷纷基于Redis做架构的改造。像微博及Twitter这两大社交平台重度依赖Redis来承载海量用户访问,通过构建可灵活扩展的Redis集群让其能够承载上亿用户的访问规模。我们按照Redis数据结构维度,其适用的具体场景如