Irene181 Irene181
4年前
手把手教你用Scrapy爬虫框架爬取食品论坛数据并存入数据库
大家好,我是杯酒先生,这是我第一次写这种分享项目的文章,可能很水,很不全面,而且肯定存在说错的地方,希望大家可以评论里加以指点,不胜感激!一、前言网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。百度百科    说人话就是,爬虫是用来海量规则化获取数据
Irene181 Irene181
4年前
手把手教你用Scrapy爬虫框架爬取食品论坛数据并存入数据库
大家好,我是杯酒先生,这是我第一次写这种分享项目的文章,可能很水,很不全面,而且肯定存在说错的地方,希望大家可以评论里加以指点,不胜感激!一、前言网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。百度百科    说人话就是,爬虫是用来海量规则化获取数据
京东探索研究院 | 2023年十大科技趋势
京东探索研究院结合近年来咨询公司、学术界和产业界的热点研究方向,发布了2023十大科技趋势,包括了自动化工具、产业AI、计算机通信、基础科学等领域。
玩转 AWS 的必备工具
玩转AWS的必备工具虽然AWS平台早已早已为使用者带来了十分详细和高品质的工具箱,但在具体运用中含的软件还没有尤其方便快捷或是能满足客户的必须,因而,紧紧围绕全部AWS平台,客户及其许多专业开发设计AWS专用工具的企业发布了很多和AWS规范专用工具互为补充的第三方开发环境。这种专用工具集中化在系统软件布署管理方法自动化技术,系统架构图自动生成可视化工具,
Stella981 Stella981
4年前
Spring Cloud Stream消费失败后的处理策略(四):重新入队(RabbitMQ)
应用场景之前我们已经通过《SpringCloudStream消费失败后的处理策略(一):自动重试》(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fblog.didispace.com%2Fspringcloudstarterfinchley72%2F)一文介绍
Stella981 Stella981
4年前
Spring Boot + Mybatis Plus 整合——双剑合璧
前言      我前面为了自己的业务开发也写了一套SpringBootmybatis整合的自动代码生成工具,并实现了lombok的使用(https://my.oschina.net/bianxin/blog/1615120),与swagger(https://my.oschina.net/bianxin/blog/1615980)的整
自动化实践之:从UI到接口,Playwright给你全包了!
作者:京东保险宋阳1背景在车险系统中,对接保司的数量众多。每当系统有新功能迭代后,基本上各个保司的报价流程都需要进行回归测试。由于保司数量多,回归测试的场景也会变得重复而繁琐,给测试团队带来了巨大的工作压力。车险投保流程主要通过H5页面进行,核心功能集中在
飞速低代码平台 | 风口上的低代码,专业开发者需要考虑哪些?
低代码平台采用可视化的声明性技术,而不是传统的编程方式,开发人员和非开发人员都使用这些技术,并显著减少了交付应用程序和自动化过程的时间和精力。即便如此,低代码对不同的人来说仍然意味着很多事情,因为在这个总称下存在几种工具类型:网站生成器、表单生成器、API连接器、数据库生成器、工作流自动化等。这里,我们将介绍低代码开发与“无代码开发”的区别、主要用例、平台使
Selenium与PhantomJS:自动化测试与网页爬虫的完美结合
在当今互联网时代,自动化测试和网页爬虫技术成为了不可或缺的工具,它们不仅提高了开发效率,也为数据采集和分析提供了便利。而Selenium与PhantomJS的结合,则为这两个领域的应用带来了全新的可能性。本文将介绍Selenium与PhantomJS的基本
【原理】Redis热点Key自动发现机制和客户端缓存方案
作者:京东物流京东物流本文详细讲解下Redis热点key发现机制客户端缓存的原理。一、redis4.0之基于LFU的热点key发现机制业务中存在访问热点是在所难免的,然而如何发现热点key一直困扰着许多用户,redis4.0为我们带来了许多新特性,其中便