记一次使用Fiddler抓包工具抓取Https协议数据的踩坑过程

黑洞算法
• 阅读 7479

记一次使用Fiddler抓包工具抓取Https协议数据的踩坑过程

前言

记得从刚入门前端第一天开始,当时的师傅就跟我介绍了一个可以抓取一些必须要在微信浏览器打开的链接的工具Fiddler,主要用来抓取这些网页的源码,确实是非常好用,当然后来知道有了微信开发者工具,可以直接在里面调试之后,就感觉Fiddler的作用好像也没有那么大了。直到今天,突然看到一个有意思的微信H5小游戏。想看下源码了解下具体是怎么实现的。这样我就又重新用起了Fiddler工具,可是一用才发现,除了图片,竟然什么东西都抓不到。后来试了几次之后才发现,这个小游戏比较刁,不仅做了微信的登录授权,而且做了手机端访问的判断,更甚至竟然用的还是https协议的网页。于是我试着在网上找了解决方案才发现原来Fiddler工具默认是不能抓取https协议的,但是通过设置以及在对应设备上安装证书就可以实现抓取https。

踩坑开始

我照着网上的教程,这里发个教程贴。这个教程文章写的很详细,基本上将怎么安装Fiddler,怎么配置代理,怎么手机上安装证书,都写的很清楚。然而尴尬的是,我照着这篇文章去做,最后试着在手机上打开我想要抓取的那个H5小游戏的链接,发现依旧什么都抓不到。于是,我又在网上搜。发现有篇文章介绍了Fiddler有个log工具,会将所有的抓取记录,包括保错信息都会在log里面打印出来。记一次使用Fiddler抓包工具抓取Https协议数据的踩坑过程
通过查看log记录,我终于找到我每次打开Https协议的链接时,所报的错误信息。大概如下。

!ERROR: Failed to generate Certificate using CertEnroll. System.Reflection.TargetInvocationException 调用的目标发生了异常。

紧接着,我照着这个错误信息,又在网上找了解决方案,终于找到一个链接.http://fiddler2.com/r/?fiddle...
这个链接,应该是用于重新制造安装Fiddler证书的作用,打开这个链接之后,会在你的电脑上面重新安装fiddler证书,然后再照着我上面所发的教程链接里面的步骤,重新设置,在手机上安装证书。最后重启fiddler。打开https的链接,终于可以抓取到了。

注意事项

除了我上面介绍到的错误信息。还有其他的问题我也介绍下。
1、最好在最新版的fiddler,不然可能会出问题。
2、ios手机上面打开安装证书的链接后,所安装的证书,在通用里面的描述文件中可以找到。注意下图里面的以验证一定要是打钩的状态,不然好像不能用。记一次使用Fiddler抓包工具抓取Https协议数据的踩坑过程
3、ios上安装好了证书,需要给予信任,这样手机上打开的https的链接才可以被fiddler抓取到,ios手机通用里面的关于本机里面的证书信任设置,可以进行信任。

点赞
收藏
评论区
推荐文章
微标题信公众号文章,阅读数,点赞数历史文章抓取
微标题信公众号文章,阅读数,点赞数历史文章抓取需求最近在做舆情与微信文章相关的数据抓取,发现微信公众号有些难点很难克服。市面上流行的数据抓取思路要么被腾讯封杀,要么操作难度大。解决方案搜狗微信无法采集历史,而且搜索也不按时间排序。获取的数据的价值不高,仅仅可以通过他获取公众号的biz。微信公众平台微信公
Python进阶者 Python进阶者
3年前
一篇文章教会你使用Python定时抓取微博评论
【Part1——理论篇】大家好,我是皮皮。试想一个问题,如果我们要抓取某个微博大V微博的评论数据,应该怎么实现呢?最简单的做法就是找到微博评论数据接口,然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口,如下图所示。但是很不幸,该接口频率受限,抓不了几次就被禁了,还没有开始起飞,就凉凉了。接下来小编又选择微博的移动端网站,先登录,然后找
浅梦一笑 浅梦一笑
4年前
分别用python2和python3伪装浏览器爬取网页内容
python网页抓取功能非常强大,使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意,可能很多网站都设置了防采集功能,不是那么轻松就能抓取到想要的内容。今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。最基础的抓取:!/usr/bin/envpythoncodingutf8@Au
Karen110 Karen110
3年前
一篇文章教会你使用Python定时抓取微博评论
【Part1——理论篇】试想一个问题,如果我们要抓取某个微博大V微博的评论数据,应该怎么实现呢?最简单的做法就是找到微博评论数据接口,然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口,如下图所示。但是很不幸,该接口频率受限,抓不了几次就被禁了,还没有开始起飞,就凉凉了。接下来小编又选择微博的移动端网站,先登录,然后找到我们想要抓
雷厉风行 雷厉风行
2年前
Mac程序员开发必备-Charles for Mac 完美激活使用-抓包代理调试工具、类 Fiddler
CharlesforMac是一款完美激活使用的抓包代理调试工具,被誉为类Fiddler的大师级工具,是Mac程序员开发必备的一款集成环境。它可以用于HTTP和HTTPS网络通信抓包和分析,极大地简化了程序员的开发调试工作。
Stella981 Stella981
3年前
Charles 使用教程
我们在开发网站项目的时候,我们可以通过浏览器的debug模式来看request以及response的数据,那么如果我们开发移动端项目没有网页呢?如何抓取数据呢?前几天有个做服务端的师弟跟我说他不用抓包工具,遇到问题直接debug代码,那我问他,如果线上服务的话,你怎么调?在实际项目中,没有遇到跟客户端相互扯皮的事情吗?我觉得很正常啊,客户端说他没问题,服
Stella981 Stella981
3年前
PC客户端(CS架构)如何实现抓包
针对PC客户端(C/S架构)的渗透测试,相比于B/S架构,它所使用到的通讯协议有多种,如TCP、HTTP(S)、TDS等。如何实现PC客户端抓包呢,常使用的工具有Wireshark、iptool、WSExplorer等。本文通过FiddlerProxifer抓取PC客户端(C/S架构)客户端中的HTTP(S)流量。环境准备1、
Wesley13 Wesley13
3年前
Linux服务器下的HTTP抓包分析
说到抓包分析,最简单的办法莫过于在客户端直接安装一个Wireshark或者Fiddler了,但是有时候由于客户端开发人员(可能是第三方)知识欠缺或者其它一些原因,无法顺利的在客户端进行抓包分析,这种情况下怎么办呢?本文中,我们将给大家介绍在服务端进行抓包分析的方法,使用tcpdump抓包,配合Wireshark对HTTP请求进行分析,非常简单有效。本
Stella981 Stella981
3年前
Fiddler抓取手机APP数据包
第一步:下载神器Fiddler,下载链接:http://w.x.baidu.com/alading/anquan\_soft\_down\_ub/10963(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fw.x.baidu.com%2Falading%2Fanquan_sof
Stella981 Stella981
3年前
Python爬虫入门教程 32
1\.B站博人传评论数据爬取简介今天想了半天不知道抓啥,去B站看跳舞的小姐姐,忽然看到了评论,那就抓取一下B站的评论数据,视频动画那么多,也不知道抓取哪个,选了一个博人传跟火影相关的,抓取看看。网址:https://www.bilibili.com/bangumi/media/md5978/?fromsearc
燕青 燕青
1年前
Debookee for Mac:网络数据抓包工具
是一款网络数据包抓取工具,可以帮助用户解密并分析所有设备的网络流量,以及更好地掌控网络流量。DebookeeMac具有以下特点:简单而强大的网络流量分析器:适用于macOS的最简单、功能最强大的网络流量分析器。抓包和网络分析工具:Debookee是LAN和