微标题信公众号文章,阅读数,点赞数历史文章抓取

无聊的调包专家 等级 809 0 0

微标题信公众号文章,阅读数,点赞数历史文章抓取

需求

最近在做舆情与微信文章相关的数据抓取,发现微信公众号有些难点很难克服。市面上流行的数据抓取思路要么被腾讯封杀,要么操作难度大。

解决方案

搜狗微信

无法采集历史,而且搜索也不按时间排序。获取的数据的价值不高,仅仅可以通过他获取公众号的biz。

微信公众平台

微信公众平台虽然可采集历史,但限制很大,没抓多少就被封接口了。只适用于少量的数据采集。

安卓端微信

网上很多基于xposed hook微信公众号实时推送文章的一些采集方案,大部分公司采集可能是这类的方案。网上公开的文章大都是基于旧版本的,然而大部分微信账号很难登录旧版本的微信,会提示当前版本低的问题。且新版本微信对xposed有强检测机制。但是需要较强的hook能力,且面临的法律风险已经是超出爬虫面临的风险了。

抓取新榜、清博等平台

这些平台一个共同点就是要验证登录且反爬措施更强。

网页版本微信

大部分新号都无法登录。

Windows微信

和安卓微信一样,hookwindows微信的难度等同于hook安卓端

一些其他方法

模拟点击和浏览器js注入,这类方法共同特点是数据维度较少,且效率低下,难以满足大量的抓取能力。

正确的姿势

破解方案暂时保密,这边有一个测试和接口调用的Demo,希望能帮到有需要的你 微信公众号链接

收藏
评论区

相关推荐

微信小程序验证身份证号
验证身份证号格式,笔记 var that this that.optional()是验证是否为空方法 idcard(idCard) { var regIdCard that.optional(idCard) || /^19d{5}(18|19|(23d))d{2}((019)|(10|1
微标题信公众号文章,阅读数,点赞数历史文章抓取
微标题信公众号文章,阅读数,点赞数历史文章抓取 需求 最近在做舆情与微信文章相关的数据抓取,发现微信公众号有些难点很难克服。市面上流行的数据抓取思路要么被腾讯封杀,要么操作难度大。 解决方案 搜狗微信 无法采集历史,而且搜索也不按时间排序。获取的数据的价值不高,仅仅可以通过他获取公众号的biz。 微信公众平台 微信公
PHP 微信公众号消息加解密
公众号配置根据提示设置即可:【图中信息均为无意义数据,仅供参考。注意服务器地址需可接收 GET/POST 两种请求】 AESKey 直接点一下随机生成即可,Token 可以生成一个 UUID 再把 UUID 进行 MD5 一次即可。 接收关注事件消息示例 请求参数校验这一步根据项目情况,可供参考:(Lumen 框架)php$valida
C# 微信小程序获取绑定手机号
#region 获取微信手机号 /// <summary> /// 获取微信手机号 /// </summary> /// <param name="aesIv">向量</param> /// <param name="encryptedData">encryptedData</param> /// <p
SIGXFSZ信号
**背景**     同事用go写了一个简单转发业务流量的工具。跑了9个小时coredump。直接被冲击了三观(go也会coredump?),最后分析了看,是测试机器设置不当导致的,测试人员把日志文件重定向到终端,日志文件大小超过终端限制(这值可人为设置,默认没有大小限制),最后操作系统向服务端发送了**SIGXFSZ信号**,下面聊下罪魁祸首**SIGX
APP会被微信服务号取代吗?
  本文由成都APP开发公司金元卓科技【028-85463323】[www.groex.cn提供:去年iHealth、咕咚、乐心、荣耀手环微信版在京东上首发,微信智能硬件平台从此曝光。此后,越来越多的智能硬件厂商开始选择接入微信平台。微信平台成就一波推广热潮。](http://www.groex.cn提供:去年iHealth、咕咚、乐心、荣耀手环微信版在京东
JAVA微信公众号网页开发——生成自定义微信菜单(携带参数)
官网接口地址:[https://developers.weixin.qq.com/doc/offiaccount/Custom\_Menus/Creating\_Custom-Defined\_Menu.html](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fdevelopers.wei
PHP微信小程序支付——签名错误
![](https://static.oschina.net/uploads/space/2018/0509/141657_Tqix_3477605.png) 先分清几个概念:微信公众平台、微信开放平台、微信商户平台 1.微信公众平台、微信开放平台、微信商户平台是三个不同的平台 2.微信公众平台:用于公众号、小程序等等的设置平台,包括APPID、APP
React Native 移动技术在企业架构的应用
郝振明 EAII企业[架构](https://www.oschina.net/action/GoToLink?url=http%3A%2F%2Flib.csdn.net%2Fbase%2Farchitecture)创新研究院 转载本文需注明出处:EAII企业架构创新研究院(微信号:eaworld),违者必究。如需加入微信群参与微课堂、架构设计与讨论直播请直
C#微信公众号开发——获取access_token
access\_token是公众号的全局唯一票据,公众号调用各接口时都需使用access\_token。正常情况下access\_token有效期为7200秒(两个小时),微信获取access\_token接口每日限制调用2000次。 (一)access\_token的作用   access\_token由公众号的AppID和AppSecret组成,所以
Docker 与 K8s 在企业基础设施服务的应用
**转载本文需注明出处:EAII企业架构创新研究院(微信号:eaworld),违者必究。如需加入微信群参与微课堂、架构设计与讨论直播请直接回复此公众号:“加群 姓名 公司 职位 微信号”。** ********『发送关键字“Docker************”至此公众号,获取**完整PPT**下载』******** 大家好,本次内容我在我司上个
JFinal极速开发微信公众号
[**10分钟搭建属于自己的ngork服务器,实现内网穿透**](https://www.oschina.net/action/GoToLink?url=http%3A%2F%2Fblog.csdn.net%2Fzyw_java%2Farticle%2Fdetails%2F70341106) [**Android 微信、支付App支付SDK**](http
Python微信机器人
### Python微信机器人 **本文目录** * 一 简介 * 二 登录微信 * 三 微信好友男女比例 * 四 微信好友地域分布 * 五 微信聊天机器人 ### 一 简介 wxpy基于itchat,使用了 Web 微信的通讯协议,,通过大量接口优化提升了模块的易用性,并进行丰富的功能扩展。实现了微信登录、收发消息、搜索好友、数
React Native 移动技术在企业架构的应用
**转载本文需注明出处:EAII企业架构创新研究院(微信号:eaworld),违者必究。如需加入微信群参与微课堂、架构设计与讨论直播请直接回复此公众号:“加群 姓名 公司 职位 微信号”。** ********『发送关键字“React Native************”至此公众号,获取**完整PPT**下载』******** **![](https:
Serverless架构:用服务代替服务器
**转载本文需注明出处:EAII企业架构创新研究院(微信号:eaworld),违者必究。如需加入微信群参与微课堂、架构设计与讨论直播请直接回复此公众号:“加群 姓名 公司 职位 微信号”。** **还记得在十多年前,SaaS鼻祖SalesForce喊出的口号『No Software』吗?SalesForce在这个口号声中开创了SaaS行业,并成为当今市值5

热门文章

最新文章