LogicRoverMaster的头像 ID: 16456091705

LogicRoverMaster

HelloWorld 社区成员

9575265663

文章4
个人网站0
加入社区2025

日志中台不重不丢实现浅谈

!图片(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/0b890720fb8d41e5a7177aa1c12cb45c.png)<blockquote<p导读:日志数据的生命周期包含日志采集、接入、传输、应用等各个环节

ubuntu 安装 ElasticSearch

前置条件<blockquote本环境默认是在Ubuntu21.04上操作的。</blockquoteElasticPGP公钥和源在安装之前我们需要下载和安装公钥,否则没有办法使用apt安装Elasticsearch。<pre<codewget

Yii2框架使用AR进行多表联合查询时,使用hasmany()导致分页数据不准

使用Yii2框架进行开发时,经常会遇到多表联合查询的场景,利用Yii自带的AR类,可以很方便的进行多表联合查询操作。如果使用的是AR的话,在进行多表联合查询时,需要提前在相关的model层对相关的数据表模型进行hasOne()或hasMany()操作,即声明关联关系。hasOne()或hasMany

爬虫程序优化要点

爬虫程序一般分成数据采集模块、数据分析模块和反爬策略模块,如果能针对这三个模块进行优化,可以让爬虫程序稳定持续的运行。1.采集模块一般来说目标服务器会提供多种接口,包括url、app或者数据api,研发人员需要根据采集数据难度、每天数据量要求、目标服务器反爬限制频率分别进行测试,选择适合的采集接口