小白学大数据的头像 ID: 31398538511

小白学大数据

python技术 · 亿牛云

45423603

文章153
个人网站0
加入社区2022

高温导致大闸蟹价格暴涨

金秋临近,一年之中品尝螃蟹的好季节即将到来。但由于天气炎热,近期大闸蟹“食欲不振”,生长也受到了影响。然而,影响更深的是,由于高温,缺氧的大闸蟹“死伤严重”大闸蟹减产也导致其价格激增,今年大闸蟹价格比去年同期涨40%。大闸蟹一直都以来都比较贵,现在更是涨价,那估计很多人会被价格劝退吧?关于大闸蟹的价格和销量我们今天可以作为一个爬虫实践项目,通过获取数据分析对

如何应对亚马逊反爬机制

大家都知道亚马逊是全球最大的购物平台很多商品信息、用户评价等等都是最丰富的。但是对于爬虫来说,亚马逊的反爬机制应该也是数一数二的,想要获取亚马逊数据的人很多,但是真的能成功的确是少数,所以今天小编就手把手带大家,越过亚马逊的各种反爬机制爬取你想要的商品、评论等等有用信息。这里我们可以通过以下一些步骤去实现亚马逊数据的获取。一、使用requests的get请求

想要知道中国长征系列火箭发射记录很简单

今天,吉林一号高分03D09星等十六颗卫星发射成功,这又是CZ系列的又一次成功,该批卫星主要用于商业遥感、大气成像等领域。点赞中国航天。关于CZ系列火箭发射记录,没有深入去研究的朋友应该不是很清楚,所以今天我们就给大家分享下,通过python爬虫技术爬取中国长征系列火箭发射记录。CZ系列运载火箭作为我国的金名片,以优质、高效、低成本等优势闻名海外,那么今天我

爬虫时“封IP”试试这个方法

我想很多会爬虫技术的小伙伴有给别人写爬虫软件赚外快的经历,小编也不例外。有时候就会遇到粉丝在后台留言,问:大佬,运行你的爬虫程序怎么报错了?于是我让他把报错信息发过来,看过之后一声叹息。多数爬虫源码运行的报错都是由于访问目标网站过于频繁,从而导致目标网站返回错误或者没有数据返回。这也是最常见的方式,也就是我们经常听到的“封IP”,需要不断地切换IP访问。

python实践之高温预警数据获取

最近一段时间,四川真的感觉遭遇了最大最强高温,一到户外感觉都要被烤干了,可怕的故事是,现在才只有7月份呢,要是等到了8、9月份,不会是要更热吧?很多小伙伴都表示,,现在天气的温度这么高,我们必须要做好应对措施,不然疏于防范,一下子中暑了可就不好了。那作为有爬虫技术小伙伴些能不能做一个爬虫程序,爬取天气预警信息呢?不仅能够提前预防高温,有什么狂风暴雨之类的,

爬虫中无头浏览器如何选择

我们日常使用浏览器的步骤为:启动浏览器、打开一个网页、进行交互。而无头浏览器指的是我们使用脚本来执行以上过程的浏览器,能模拟真实的浏览器使用场景。主要是用作爬虫,用以捕捉Web上的各类数据;这里的无头主要是指没有界面,完全是后台操作。它就是一个真实的浏览器。只是这个浏览器是无界面的。在爬虫中使用无头浏览器有很多的注意事项,比如我们的业务场景是否适合使用无头浏

python那些更严的反爬技术

在几年前“内卷”已经被一些人使用,而近两年受到各种不可抗力的影响,则进一步加剧了“卷”的程度。为缓解压力摆脱内卷,有越来越多人在开辟副业兼职赚钱,毕竟大家都希望有更多的收入而现在人工智能、大数据与物联网的爆火,在这个全民副业的时代,若是能掌握与这些领域关系密切的Python技术,则能在兼职副业方面获得极其显著的特殊优势。并且现在互联网行业对Python

python爬虫采集今日头条实践

Python怎样爬取今日头条数据?针对这个问题,今天我们就详细的介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。今日头条近几年做的很强大,自上线以来,围绕内容载体和分发方式两个维度不断丰富,如今包含图文、视频、微头条、专栏、搜索、直播等多种内容形式。根据最新中国联通发布的App排行榜,今日头条稳居新闻资讯行业NO.1。面

python采集全国高温数据

今年来范围最大最强高温来袭,截至目前,全国各级市/县共计508个高温预警生效中,主要集中在河南、陕西、山西、内蒙古、安徽、山东、湖北、江苏等地,多个省份发布高温红色,橙色预警。还没入伏就能有这样的温度,估计很多人都要郁闷了。之前分享的爬虫文章中好像也对天气数据爬取过,那今天就再盘它一次,来看看全国天气高温情况,跟那些有高温预警地区的伙伴们一个数据分析。这里

通过python实现微信读书自由

互联网时代,关于阅读早已经不在是通过纸质方式获进行了,现在有各种看书app可以供大家选择。不知道用微信读书的朋友多不多,这里顺便安利一下哈。我目前看电子书的话基本都是在用微信读书,毕竟白嫖的无限卡真香。在微信读书上,不仅很多正版的Python书籍电子书可以直接看,还可以在阅读的同时看别人写的标注。但是无限卡对于有些书籍不太友好,只能阅读开头的章节,后面的章节

python爬虫实践之IP的使用

Python爬虫常常会面临自己ip地址被封的情况,也许刚入行的小白就只能等ip解封之后再进行接下来的操作了,但是这样的方式却是最不能借鉴的,万一数据需求量大,那要等到猴年马月呢?所以今天我们就来探讨下如何创建一个IP池并对其进行管理。对刚入行的小白很有帮助,希望大家耐心看下去,需要的朋友可以参考下。很多的网站都有反爬机制,其中就有这样一条,就是服务器会检查请

python访问百度关键词和链接

前几天在Python交流群有个同学分享了一份Python网络爬虫代码,用来获取某度关键词和链接的。其实这个需求之前我也写过代码,不过网页结构变化之后,之前的提取器已经失效了,所以代码就作废了。今天这里给再给大家分享一个使用python获取某度关键词的实践。由于某度也是设置反爬安全策略的,所有同一IP下程序运行次数多了也是会被封IP的,所有在访问过程中我们需要

安居客房源信息获取

最近身边有几个做房产销售的朋友经常在诉苦,找不到客户,没有业绩,所以就比较好奇他们现在的行情,所以今天我们就使用python获取下安居客的一些房源数据。之前分享过很多关于爬虫的实践示例,今天这个也算是实践内容。我们就以户型结构、装修情况、水肥情况进行房源数据获取。爬取数据的通用流程:1、根据url请求页面,获取页面响应对象2、将页面响应对象转化为对象3、定