Python爬取手机APP

       之前写了一个自动签到的脚本,客户本来让我给她写一个手机app自动签到的脚本的,后来发现自己不会爬手机app,现在抽时间找了教程,看完教程后来爬一下手机app试一试。在爬手机app时先要安装的的抓包工具。

对于 App 的爬取,这里分了四个处理情况:

一、对于普通无加密接口,这种直接抓包拿到接口的具体请求形式就好了,可用的抓包工具有 Charles、Fiddler、mitmproxy,重点讲述下Fiddler。

Fiddler是一个http协议调试代理工具,它能够记录并检查所有你的电脑和互联网之间的http通讯,设置断点,查看所有的“进出”Fiddler的数据(指cookie,html,js,css等文件)。 Fiddler 要比其他的网络调试器要更加简单,因为它不仅仅暴露http通讯还提供了一个用户友好的格式。

从百度搜索,Fiddler,下载,安装好证书后,修改手机WLAN的配置 ,并且手机与电脑需要保证在同一局域网中。需要修改的是 : 将所连WiFi的代理改为手动,服务器主机名一项填写自己电脑的IP地址,服务器端口一项填写8888(因为Fiddler一般默认端口是8888),然后保存。就可以开始抓包了。打开一个手机app,这里选的是王者荣耀盒子,会看到Fiddler中出现很多信息,只需挑选有用的即可

二、对于加密参数的接口,一种方法可以实时处理,例如 Fiddler、mitmdump、Xposed 等,另一种方法是将加密逻辑破解,直接模拟构造即可,可能需要一些反编译的技巧。

三、对于加密内容的接口,即接口返回结果完全看不懂是什么东西,可以使用可见即可爬的工具 Appium,也可以使用 Xposed 来 hook 获取渲染结果,也可以通过反编译和改写手机底层来实现破解。

四、对于非常规协议,可以使用 Wireshark 来抓取所有协议的包,或者使用 Tcpdump 来进行 TCP 数据包截获

五、APP数据如果需要长期采集推荐使用收费类的代理IP,能够保证网络稳定和数据采集量。可以淘宝搜索“爬虫代理ip”类关键词,或者百度“爬虫加强版”类关键词,找企业平台购买产品即可

评论

暂无评论