HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
Swift 也能做爬虫:URLSession、HTML 解析与数据可视化全流程解析
摘要在苹果生态中,Swift不只是用于iOS、macOS客户端开发,借助并发能力、HTML解析库与原生SwiftCharts,我们可以实现一套端到端数据采集、清洗、可视化的完整链路。不同于Python爬虫成熟的数据分析栈,Swift爬虫更适合macOS本地
极简部署:用Docker一键搭建你的专属mBlog微博
极简部署:用Docker一键搭建你的专属mBlog微博
异步爬虫里 aiohttp 超时设多少不会误杀正常请求
超时设3秒,跑半小时成功率从98%掉到85%。目标站点RTT正常,代理IP存活,但大量请求抛ServerTimeoutError。问题出在超时阈值与实际网络时序不匹配,把正常的处理延迟当成了网络故障。aiohttp超时的实现机制aiohttp的Client
异步爬虫里 aiohttp 超时设多少不会误杀正常请求
超时设3秒,跑半小时成功率从98%掉到85%。目标站点RTT正常,代理IP存活,但大量请求抛ServerTimeoutError。问题出在超时阈值与实际网络时序不匹配,把正常的处理延迟当成了网络故障。aiohttp超时的实现机制aiohttp的Client
两周完成爬虫技术栈升级:Scrapy 迁移 Crawlo 的路径与取舍
问题定位:不是框架选型错,是执行模型不匹配我们的抓取服务在Scrapy上稳定运行了两年,日均调度量从30万涨到3000万。迁移的动因不是Scrapy不行,而是它的并发模型在当前负载下出现了结构性瓶颈。Scrapy建立在Twisted之上,整套请求与回调跑在
JS 逆向天花板姿势:JSRPC 远程调用实战
JS逆向走到深处,最终都会撞上一堵墙:核心加密逻辑被VMP虚拟机保护、控制流平坦化、反调试陷阱层层包裹,静态分析几乎无法还原,AST解析也无从下手。传统"抠代码补环境"策略在此彻底失效。JSRPC(JavaScriptRemoteProcedureCal
JS 逆向天花板姿势:JSRPC 远程调用实战
JS逆向走到深处,最终都会撞上一堵墙:核心加密逻辑被VMP虚拟机保护、控制流平坦化、反调试陷阱层层包裹,静态分析几乎无法还原,AST解析也无从下手。传统"抠代码补环境"策略在此彻底失效。JSRPC(JavaScriptRemoteProcedureCal
Python 高并发抢票技术拆解:异步请求、Cookie 持久化实战
票务抢票场景本质为毫秒级高并发资源竞争。放票瞬时海量请求涌入服务端,仅低延迟、高稳定、可抗风控的客户端可抢占资源。该场景核心依赖三大技术支柱:异步并发请求、会话持久化、IP风控对抗。本文基于实战场景,精简拆解从会话维护、余票监听、并发下单到风控规避的全链路
告别 Scrapy 反爬困境:无缝切换原生支持 JS 渲染的新一代爬虫框架
一、前言:传统Scrapy爬虫在现代网页下的致命短板Scrapy作为Python生态老牌同步爬虫框架,多年来是数据采集领域主流工具,凭借成熟管道、分布式扩展、中间件体系深受开发者认可。但随着互联网页面全面动态化、网站反爬体系持续升级,原生Scrapy的底层
知网数据实战:爬虫 + 网络分析打造论文关键词图谱
CNKI(中国知网)是国内核心学术文献数据库,文献关键词、元数据、引文等信息可有效表征领域研究脉络与热点分布。基于采集数据开展关键词共现分析,能够量化挖掘领域研究主题、主题间关联关系与知识群落结构。本文基于Playwright实现知网动态页面数据采集,结合
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。