微标题信公众号文章,阅读数,点赞数历史文章抓取

无聊的调包专家 等级 469 0 0

微标题信公众号文章,阅读数,点赞数历史文章抓取

需求

最近在做舆情与微信文章相关的数据抓取,发现微信公众号有些难点很难克服。市面上流行的数据抓取思路要么被腾讯封杀,要么操作难度大。

解决方案

搜狗微信

无法采集历史,而且搜索也不按时间排序。获取的数据的价值不高,仅仅可以通过他获取公众号的biz。

微信公众平台

微信公众平台虽然可采集历史,但限制很大,没抓多少就被封接口了。只适用于少量的数据采集。

安卓端微信

网上很多基于xposed hook微信公众号实时推送文章的一些采集方案,大部分公司采集可能是这类的方案。网上公开的文章大都是基于旧版本的,然而大部分微信账号很难登录旧版本的微信,会提示当前版本低的问题。且新版本微信对xposed有强检测机制。但是需要较强的hook能力,且面临的法律风险已经是超出爬虫面临的风险了。

抓取新榜、清博等平台

这些平台一个共同点就是要验证登录且反爬措施更强。

网页版本微信

大部分新号都无法登录。

Windows微信

和安卓微信一样,hookwindows微信的难度等同于hook安卓端

一些其他方法

模拟点击和浏览器js注入,这类方法共同特点是数据维度较少,且效率低下,难以满足大量的抓取能力。

正确的姿势

破解方案暂时保密,这边有一个测试和接口调用的Demo,希望能帮到有需要的你 微信公众号链接

收藏
评论区

相关推荐

Android抖音去水印APP
本文同步发表于我的微信公众号,在微信搜索 OpenCV or Android 即可关注。 前言 微信8.0.0更新以后,大伙玩得不亦乐乎,除了会动的表情,特效的炸弹、烟花等,还有一个亮点就是微信个人状态背景,既可以挂图片,更可以挂视频,给人一种万物皆可短视频的感觉。我也很爱这个功能,但是奈何鄙人才疏学浅,没法制作炫酷的短视频。只能使用去抖音水印工具获取
如何将Markdown文章轻松地搬运到微信公众号并完美地呈现代码内容
相信有很多童鞋跟我一样,热衷于用Markdown来编写文章。由于其简单的语法和清晰的渲染效果,受到广大码农朋友们的推崇。但是,当我们想维护起自己的公众号时,公众号编辑器往往让我们费劲了脑汁。本人尝试了各种工具,比如:秀米一些在线提供多种不同样式的编辑器。虽然这些编辑器都能够完成编辑任务,但是效果并不理想。与我们所追求的简洁、清晰风格总是格格不入,尤其是对于代
微信小程序验证身份证号
验证身份证号格式,笔记 var that this that.optional()是验证是否为空方法 idcard(idCard) { var regIdCard that.optional(idCard) || /^19d{5}(18|19|(23d))d{2}((019)|(10|1
微信小程序验证邮箱,验证手机号
笔记类 var that this that.optional()是验证是否为空方法 / 验证邮箱格式 / email(value) { return that.optional(value) || /^azAZ09.$%&'\/?^_{|}@azAZ
服务号跳转微信小程序的坑
服务号跳转微信小程序一直报错 {"errcode":40165,"errmsg":"invalid weapp pagepath hint: 8yDcBa01023942"}
金三银四了,掌握 JS 这 36 个概念,助你一臂之力
作者:Mahdhi Rezvi 译者:前端小智 来源:dmitripavlutin 点赞再看,微信搜索【大迁世界(https://mp.weixin.qq.com/s/sY9ufGGKfcdaAQ7KJQs3HA)】,B站关注【前端小智(https://space.bilibili.com/31089477)】这个没有大厂背景,但有着
vue h5 对接支付宝,微信支付,微信js支付
vue h5 实现支付(支付宝,微信) h5端实现支付难度不大,只是有些小的点需要注意下,其他的看文档撸就行了。 支付宝很简单,后端返回一个 html ,前端插入调用就行了,微信支付分两种:1、微信内支付(jsapi,微信内浏览器)2、微信外支付(h5支付)。 一、支付宝支付 // 前端啥都不用管,交给后端去干,返回 html 调用点击就好了 /
7个关于"this"面试题,你能回答上来吗?
作者:Shadeed 译者:前端小智 来源:dmitripavlutin 点赞再看,微信搜索【大迁世界(https://mp.weixin.qq.com/s/sY9ufGGKfcdaAQ7KJQs3HA)】,B站关注【前端小智(https://space.bilibili.com/31089477)】这个没有大厂背景,但有着一股向上积
微标题信公众号文章,阅读数,点赞数历史文章抓取
微标题信公众号文章,阅读数,点赞数历史文章抓取 需求 最近在做舆情与微信文章相关的数据抓取,发现微信公众号有些难点很难克服。市面上流行的数据抓取思路要么被腾讯封杀,要么操作难度大。 解决方案 搜狗微信 无法采集历史,而且搜索也不按时间排序。获取的数据的价值不高,仅仅可以通过他获取公众号的biz。 微信公众平台 微信公
PHP 微信公众号消息加解密
公众号配置根据提示设置即可:【图中信息均为无意义数据,仅供参考。注意服务器地址需可接收 GET/POST 两种请求】 AESKey 直接点一下随机生成即可,Token 可以生成一个 UUID 再把 UUID 进行 MD5 一次即可。 接收关注事件消息示例 请求参数校验这一步根据项目情况,可供参考:(Lumen 框架)php$valida
Android Binder原理(二)ServiceManager中的Binder机制
Binder原理 Android框架层本文首发于微信公众号「刘望舒」<more 前言在上一篇文章中,我们了解了学习Binder前必须要了解的知识点,其中有一点就是Binder机制的三个部分:Java Binder、Native Binder、Kernel Binder,其中Java Binder和Native
推荐几个微信小程序开发小技巧
前段时间在下开发了个微信小程序,开发过程中总结了一些我觉得对我有用的小技巧,提炼出来,相当于一个总结复盘,也希望可以帮助到大家。如果对大家确实有帮助,别忘了点赞哦 🌟 ~1\. 开发中可能遇到的坑以及 Tips本来想写个小技巧的,结果我总结了一堆坑,没上手之前完全想象不到微信小程序的开发体验是如此之差、如此之烂,从微信
Compose Weekly #4:Weather App
本文同步发表于我的微信公众号,在微信搜索 OpenCV or Android 即可关注。 前言 It's raining... Compose! Pull out all the stops for this final challenge. Build a beautiful weather app for a chance to win a Pixel
微信小程序体验composition-api(类似vue3)
微信小程序compositionapi用该是什么样子? 使用使用起来应该像是这个样子wxue(options) setup配置应该是包含一个setup选项是一个函数,返回的函数可以this.xxx调用,返回的数据可以this.data.xxx用到,如下import wxue, reactive from 'wxue'wxue( setup(option
NDK 开发实战 - 微信公众号二维码检测
关于二维码识别,我们一般都是用的 或者 ,但它们的识别率其实不是很高,有些情况下是失灵的,比如下面这两张图:使用开源库 扫描以上两张二维码,有一张死活不识别。使用微信是可以的,大家可以用支付宝试试(不行),那碰到这种情况到底该怎么办呢?哈哈,这次终于有用武之地了,我们琢磨着来优化一把。我们在微信公众号都用过这么一个功能,长按一张图片,如果该图片包含有二

热门文章

最新文章