Irene181 Irene181
2年前
手把手教你用Scrapy爬虫框架爬取食品论坛数据并存入数据库
大家好,我是杯酒先生,这是我第一次写这种分享项目的文章,可能很水,很不全面,而且肯定存在说错的地方,希望大家可以评论里加以指点,不胜感激!一、前言网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。百度百科    说人话就是,爬虫是用来海量规则化获取数据
Irene181 Irene181
2年前
手把手教你用Scrapy爬虫框架爬取食品论坛数据并存入数据库
大家好,我是杯酒先生,这是我第一次写这种分享项目的文章,可能很水,很不全面,而且肯定存在说错的地方,希望大家可以评论里加以指点,不胜感激!一、前言网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。百度百科    说人话就是,爬虫是用来海量规则化获取数据
不才 不才
2年前
快24岁了,没什么目标(不才的21年年终总结)
第三次打开文档,算第二版了,还是不知道怎么开头,脚本和结构也是改了又改,写着写着又成了流水帐,眼看着从21年到22年了再不写就成了年“中”总结了。今天熬个夜,这次用的Apple的备忘录,在写的时候觉得行距太挤了,还找不到怎么调整。别问为什么用Apple备忘录。啊你没问啊,那没事了。写完回头,突然发现原来年后写总结最难的是今年/去年是那年啊。Ps:今年表
Kubrnete Kubrnete
2年前
某个加密大马的解密
我们先来大致看看这个webshell长什么样下面的就是用base64进行编码后的样子,因为太长我就不给图了这里就是这个脚本余下的内容了,最下面的那个函数也就是解开这个加密whellshell的秘钥了,进过观察后我们发现了两个可以点,第一个就是那一大段的base64编码,然后就是那下面的一段,查了一下说是ECMAScript既然这样,我们先按照常规思路将被b
Aidan075 Aidan075
3年前
分享十张表的数据!大家一起玩!
↑关注置顶 有趣的不像个技术号大家好,我是朱小五经常看我文章的朋友都知道,我一般在文中会分享自己的爬虫脚本或思路。最近有一些朋友留言表示对python不太熟悉,也不太会使用爬虫,但是对文中的数据很感兴趣。问小五能不能分享一下这些数据。当然可以,不过小五要先把涉及的用户信息去掉,再限制一下数据量,仅供大家学习交流,这样就没有法律风
Stella981 Stella981
2年前
GitHub两天标星2.1K+!自动刷喵币靠这一个脚本就够了.....
公众号关注“杰哥的IT之旅”,选择“星标”,重磅干货,第一时间送达!!(https://oscimg.oschina.net/oscnet/f0c3939b141b4b91bc4d410bfe0e5976.jpg)大家好,我是JackTian。在正式开始之前,跟大家分享一个之前的文章:程序员自动刷淘宝充能量到爆,就靠这
Wesley13 Wesley13
2年前
@RequestBody参数已经被读取,究竟是何原因?
不知道你们有没有对用户输入的东西进行过敏感校验,如果不进行校验,用户属于一些攻击脚本,那么我们的服务就挂逼啦!所以我们首先需要通过过滤器将用户的数据读出来进行安全校验,这里面涉及到一个动作,就是需要将用户的数据在过滤器中读出来,进行校验,通过之后再放行。问题如果我们的数据是get请求倒还好,但是如果是一些数据量比较大,我们需要通过postjs
liam liam
2年前
低成本、快速造测试数据,这个造数工具我后悔推荐晚了!
没有测试数据的用例就像一盘散沙,跑两步就跑不动了没有测试数据,所谓的功能测试和性能测试全都是无米之炊。但我发现一个蛮诡异的事情,就是行业内很少会有人去强调测试数据的重要性,甚至市面上都没有人在做测试数据这门生意。至今测试er造测试数据还是靠人工写,电话号码、身份证号、地址随便敲个差不多的数据就凑合着用。或者用Python或js脚本去跑些测试数据出来,当然
爬虫中无头浏览器如何选择
我们日常使用浏览器的步骤为:启动浏览器、打开一个网页、进行交互。而无头浏览器指的是我们使用脚本来执行以上过程的浏览器,能模拟真实的浏览器使用场景。主要是用作爬虫,用以捕捉Web上的各类数据;这里的无头主要是指没有界面,完全是后台操作。它就是一个真实的浏览器。只是这个浏览器是无界面的。在爬虫中使用无头浏览器有很多的注意事项,比如我们的业务场景是否适合使用无头浏
京东云开发者 京东云开发者
6个月前
利用ChatGPT提升测试工作效率——测试工程师的新利器(一) | 京东云技术团队
在测试工作中可以辅助功能测试包括需求分析或解读代码(注意代码安全)后生成测试用例,还可以辅助生成代码,接口测试用例,自动化脚本等各个方向起作用。当然实际使用中可能会因为提示词的不同生成的结果需要人工多次对话训练才可以。但是使用chatGPT肯定比不用能提高工作效率。当然具体落地后如何进行量化提效抽象等等问题依然在探索中,迈开第一步后依然任重而道远。