专栏作者：霖hero，在职爬虫工程师，熟悉JS逆向与分布式爬虫。喜欢钻研，热爱学习，乐于分享。公众号后台回复入群，拉你进技术群与大佬们近距离交流。01前言大家好，我是J哥🚀在以前的文章中我们学了Ajax数据爬取，这篇文章我们以今日头条为例，通过分析Ajax请求来抓取今日头条的街拍美图，并将图片下载到本地保存下来。准备好没，我们现在开始！0

互联网上每一台设备都会有一个IP地址，我们在访问网站或发送信息时，其实都是通过IP地址达成准确请求的。但是这个IP地址由很长一串数字组成，记忆起来相当困难，所以我们创造了更实用的域名来代替IP地址。而如何将域名和IP地址联系起来，就是域名系统（DNS）发挥作用的地方。它由各种名称服务器（即DNS服务器）组成，负责域名解析，帮助客户端建

SQL注入，就是通过把SQL命令插入到Web表单提交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。具体来说，它是利用现有应用程序，将（恶意的）SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。比如先前的很多影视网站泄

前言今天来给大家说一个Python的轻量级web开发框架Flask，为什么要推荐它呢？当然是因为它够轻量级了，开发迅速是它的特点，当然它也有缺点，不过这里不说，因为既用它又说它差感觉不好。上篇文章我们说了一半的内容，，这篇文章继续补全剩下的一半内容，一起来学习下吧11.request操作这是一个专门用来操作网页请求的模块，今天我们围绕这个来具体讲解。

爬虫什么是爬虫使用编程语言所编写的一个用于爬取web或app数据的应用程序怎么爬取数据1.找到要爬取的目标网站、发起请求2.分析URL是如何变化的和提取有用的URL3.提取有用的数据爬虫数据能随便爬取吗？遵守robots.txt协议爬虫的分类通用网络爬虫百度，Google等搜索引擎，从一些初识的URL扩展到整个网站，主要为门户站点搜索引擎和大型网站服务采

本篇文章是我在学习高并发问题时接触到的网络I/O相关知识，比较底层且纯理论，整合以作参考。下面长文预警。高并发基本表现为单位时间内系统能够同时处理的请求数核心是对CPU资源的有效压榨。注意，有效很重要。C10K问题C10K问题本质上是操作系统的问题。对于Web1.0/2.0时代的操作系统而言，传统的同步阻塞I/O模型都是一样的，

DynamoDB是一种快速、全面托管的，让用户以简单并且经济有效的方式存储和检索任何规模的数据，同时服务任何量级的请求流量。有保证的吞吐量和个位数毫秒级的延迟使它极其适合游戏、广告技术、移动以及其他众多应用。DynamoDB可以在任何规模下提供不超过10毫秒的一致响应时间，因此它可以支持世界上一些最大的应用程序。您可以构建具有几乎无限吞吐量和存储空间的应用

前言作为一名程序员，高并发系统是技术栈中必不可少的，高并发是指在同一个时间点，有很多用户同时的访问URL地址，比如：淘宝的双11，双12，就会产生高并发，如贴吧的爆吧，就是恶意的高并发请求，也就是DDOS攻击，再屌丝点的说法就像玩撸啊撸被ADC暴击了一样,那伤害你懂得(如果你看懂了，这个说法说明是正在奔向人生巅峰的屌

最近接到一项新的任务，其中涉及到用netty解决粘包问题，该问题解决得很顺利。下面是一些心得体会。我们知道，netty当中有boss线程和worker线程，通常是1对多的关系，可以理解为boss接到客户的请求之后，分配给其中一个worker去处理，如果客户过多，可能会出现一个worker服务多个客户的情况。这是背景。按照我的理解，粘包问题解决的关键在

文章讨论内容秒杀类的问题一直都是web领域比较热点的问题，一个超高并发的网站需要考虑从产品、前端优化、站点部署及后端服务等等所有环节进行考虑。mysql所能抗住的写压力是一定的，高并发的web站点，你需要在数据持久化之前控制好压力，而不是把所有的请求都落到数据服务这一层。今天我不在这篇文章里讨论秒杀整体设计的问题(我也没这个资格)，我们讨论