万界星空科技 万界星空科技
2个月前
分享一个人开发一套MES系统的历程——智能制造实践者
MES系统的价值不在于技术有多先进,而在于能否真正解决生产现场的问题。一个好的MES系统,是在不断解决实际问题中迭代出来的。
linbojue linbojue
3个月前
java技术文档怎么写-java编程思想
文中是对Java程序员面试必不可少知识要点的汇总,详尽解读了JVM基本原理,线程同步,算法设计和优化算法,分布式缓存,策略模式等。期待阅读者根据阅读文章这本书可以对Java的基本概念有更多更全方位的掌握。招聘者一般在短短的两个小时内就对招聘者的知识体系拥有
小白学大数据 小白学大数据
3个月前
解决Python爬虫访问HTTPS资源时Cookie超时问题
一、问题背景:Cookie15秒就失效了?很多互联网图片站为了防止盗链,会把图片地址放在HTTPS接口里,并且给访问者下发一个带Path/的Cookie,有效期极短(15s~60s)。常规Requests脚本在下载第二张图时就会401或403。本文以某壁纸
陈哥聊测试 陈哥聊测试
2个月前
Immerse Immerse
2个月前
不追求完美主义了,先做个垃圾出来!
大家好,我是Immerse,一名独立开发者、内容创作者、AGI实践者。关注公众号:沉浸式趣谈,获取最新文章(更多内容只在公众号更新)个人网站:https://yaolifeng.com也同步更新。转载请在文章开头注明出处和版权信息。我会在这里分享关于编程、
小白学大数据 小白学大数据
1个月前
应对反爬:使用Selenium模拟浏览器抓取12306动态旅游产品
在当今数据驱动的时代,网络爬虫已成为获取互联网信息的重要手段。然而,许多网站如12306都实施了严格的反爬虫机制,特别是对于动态加载的内容。本文将详细介绍如何使用Selenium模拟真实浏览器行为,有效绕过这些限制,成功抓取12306旅游产品数据。1230
小白学大数据 小白学大数据
3星期前
异步爬虫实践:使用Aiohttp加速抓取多个星座运势
一、同步与异步:为何效率天差地别?在开始代码之前,理解其背后的理念至关重要。●同步爬虫(阻塞式):程序发送一个HTTP请求后,会一直“傻等”直到服务器返回响应。在此期间,CPU资源被闲置。就像一个收银员一次只服务一位顾客,结账、装袋、收款,完成后才服务下一
linbojue linbojue
3个月前
java技术科普文章
Java是一种广泛使用的编程语言和计算平台,最早由SunMicrosystems公司于1995年推出,现在由Oracle公司维护和发展。Java的设计目标是“编写一次,到处运行”(WriteOnce,RunAnywhere),这意味着编写的Java程序可以
小白学大数据 小白学大数据
1星期前
Java爬虫性能优化:以喜马拉雅音频元数据抓取为例
一、目标分析与基础爬虫实现我们的目标是抓取喜马拉雅某个特定分类或播主下的音频列表及其元数据。一个最基础的爬虫通常会使用同步阻塞的方式,逐个请求页面或接口,这在效率上是无法接受的。二、性能优化实战我们将从连接管理、异步非IO、线程池、请求调度等方面系统性优化