我们日常使用浏览器的步骤为：启动浏览器、打开一个网页、进行交互。而无头浏览器指的是我们使用脚本来执行以上过程的浏览器，能模拟真实的浏览器使用场景。主要是用作爬虫，用以捕捉Web上的各类数据；这里的无头主要是指没有界面，完全是后台操作。它就是一个真实的浏览器。只是这个浏览器是无界面的。在爬虫中使用无头浏览器有很多的注意事项，比如我们的业务场景是否适合使用无头浏
helloworld_45423603 2022.07.04SECUREPROXYSSLHEADER SSL安全证书中的xforwardedfor request.META.get("SECUREPROXYSSLHEADER") if xforwardedfor: userip xforwardedfor.split(',')因为网站服务器会使用ngix等代理https（部署了SSL安全证书）
陈占占 2022.06.21Django 配置搜索引擎 haystack 与 搜索页面无法返回数据问题 1、Django安装 haystack + whoosh + jieba haystack是django的开源搜索框架，该框架支持Solr,Elasticsearch,Whoosh, 搜索引擎量。Whoosh是一个搜索引擎使用，这是一个由纯Python实现的全文搜索引擎，没有二进制文
陈占占 2022.06.21近日，2022年个推TechDay“治数训练营”系列直播课第一期圆满举办。个推资深大数据研发工程师为大家深入浅出地介绍了数据仓库的前世今生以及数据建模的常用方法。本文对“治数训练营”第一期《数据仓库与维度建模》的干货内容进行了总结，同时也挑选了直播间的精彩提问做了Q&A梳理，带大家一起回顾首期课程。 一、数据仓库快速入门数据仓库（Data Warehous
个推技术实践 2022.06.16根据云存储服务商Backblaze发布的2021年硬盘“质量报告”，现有存储硬件设备的可靠性无法完全保证，我们需要在软件层面通过一些机制来实现可靠存储。一个分布式软件的常用设计原则就是面向失效的设计。作为当前广泛流行的分布式文件系统，HDFS需要解决的一个重要问题就是数据的可靠性问题。3.0以前版本的Hadoop在HDFS上只能采用多副本冗余的方式做数据备份
个推技术实践 2022.06.16今年来范围最大最强高温来袭 ，截至目前，全国各级市/县共计508个高温预警生效中，主要集中在河南、陕西、山西、内蒙古、安徽、山东、湖北、江苏等地，多个省份发布高温红色，橙色预警。还没入伏就能有这样的温度，估计很多人都要郁闷了。之前分享的爬虫文章中好像也对天气数据爬取过，那今天就再盘它一次，来看看全国天气高温情况，跟那些有高温预警地区的伙伴们一个数据分析。这里
helloworld_45423603 2022.06.16大家好，我是皮皮。 一、前言前几天在Python白银交流群有个叫【大侠】的粉丝问了一个Python读取文件的时候报错的问题，这里拿出来给大家分享下，一起学习下。 二、解决过程看上去代码有报错，截图如下。这个错误倒是很常见，因为数据没有给utf8编码，或者读取的时候，没有指定utf8编码，都会报类似的错。上图是他的代码，15行那里指定一下编码就可以了。指定编码
Python进阶者 2022.06.10大家好，我是皮皮。一、前言前几天在Python白银交流群有个叫【千葉ほのお】的粉丝问了一个jupyter使用的问题，在使用jupyter的时候，一般需要安装Anaconda，当然也有其他方法，这里给大家分享下Anaconda的安装方法，希望对后来者有帮助。二、安装过程1、首先去官网上进行下载安装包，官网链接；https://www.anaconda.com2
Python进阶者 2022.06.09大家好，我是皮皮。 一、前言前几天在Python白银交流群有个叫【冻豺】的粉丝问了一道Python清洗数据的问题，这里拿出来给大家分享下，一起学习下。如何才能把pandas serise里乱七八糟的字符清理干净呢？ 二、解决过程 【dcpeng】解答这里给出了一个示例的代码，使用了apply和lambda和正则表达式，一气呵成，只需要稍微修改下，匹配自己的数
Python进阶者 2022.06.08Python怎样爬取今日头条数据？针对这个问题，今天我们就详细的介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。今日头条近几年做的很强大，自上线以来，围绕内容载体和分发方式两个维度不断丰富，如今包含图文、视频、微头条、专栏、搜索、直播等多种内容形式。根据最新中国联通发布的App排行榜，今日头条稳居新闻资讯行业NO.1。面
helloworld_45423603 2022.06.08
