IT学习站-137zw.com

more +资源更新Forums

more +随机图赏Gallery

价值5980元高端JAVA架构课程 精英培训计划视频教程 java架构价值5980元高端JAVA架构课程 精英培训计划视频教程 java架构
价值3600元的中文网第八期php cms 视频 完整版视频课程价值3600元的中文网第八期php cms 视频 完整版视频课程
10节课让你成为滚床单高手  强烈推荐 屌丝的福音10节课让你成为滚床单高手 强烈推荐 屌丝的福音
最新流出的传智博学谷黑马python5.0课程最新流出的传智博学谷黑马python5.0课程
价值19000元的小码哥大神班IOS五期不加密版本教程价值19000元的小码哥大神班IOS五期不加密版本教程
从网络基础概念到校园网整体规划组建系列视频教程(共40集)从网络基础概念到校园网整体规划组建系列视频教程(共40集)

Fiddler 手机爬虫

Fiddler 手机爬虫

[复制链接]
123456809 | 显示全部楼层 发表于: 2019-11-14 13:00:02
123456809 发表于: 2019-11-14 13:00:02 | 显示全部楼层 |阅读模式
查看: 142|回复: 0
Fiddler抓包工具

配置Fiddler

  • 添加证书信任,Tools - Options - HTTPS,勾选 Decrypt Https Traffic 后弹出窗口,一路确认
  • ...from browsers only 设置只抓取浏览器的数据包
  • Tools - Options - Connections,设置监听端口(默认为8888)
  • 关闭Fiddler,再打开Fiddler,配置完成后重启Fiddler(重要)
配置浏览器代理
1、安装Proxy SwitchyOmega插件
2、浏览器右上角:SwitchyOmega->选项->新建情景模式->AID1901(名字)->创建
      输入 :HTTP://  127.0.0.1  8888
      点击 :应用选项
3、点击右上角SwitchyOmega可切换代理
Fiddler常用菜单
1、Inspector :查看数据包详细内容
  整体分为请求和响应两部分
2、常用菜单
  Headers :请求头信息
  WebForms: POST请求Form表单数据 :
  GET请求查询参数:
  Raw 将整个请求显示为纯文本
手机设置

正常版
1、设置手机
Fiddler 手机爬虫  技术博客 1433301-20190825151158682-481174548
Fiddler 手机爬虫  技术博客 1433301-20190825151233701-925633935

Fiddler 手机爬虫  技术博客 1433301-20190825151243299-1582123976
Fiddler 手机爬虫  技术博客 1433301-20190825151246954-1792389910

Fiddler 手机爬虫  技术博客 1433301-20190825151252795-241699364
Fiddler 手机爬虫  技术博客 1433301-20190825151256809-1709456218

Fiddler 手机爬虫  技术博客 1433301-20190825151301350-1485670756

2、设置Fiddler
Fiddler 手机爬虫  技术博客 1433301-20190825151335668-1205001355

Fiddler 手机爬虫  技术博客 1433301-20190825151352665-1478317288

Fiddler 手机爬虫  技术博客 1433301-20190825151358740-560681486

最后重启Fiddler。
如果遇到问题
在计算机中win+R,输入regedit打开注册表,找到fiddler,右键新建点击OWORD(64位)值Q,
名称:80;类型:REG_DWORD;数据:0x00000000(0)
Fiddler在上面的设置下,加上:菜单栏Rules-->Customize Rules...-->重启Fiddler
移动端app数据抓取

有道翻译手机版破解案例
途牛旅游

目标:完成途牛旅游爬取系统,输入出发地、目的地,输入时间,抓取热门景点信息及相关评论
地址
1、地址: http://www.tuniu.com/
2、热门 - 搜索
3、选择: 相关目的地、出发城市、出游时间(出发时间和结束时间)点击确定
4、示例地址如下:
http://s.tuniu.com/search_complex/whole-sh-0-%E7%83%AD%E9%97%A8/list-a{触发时间}_{结束时间}-{出发城市}-{相关目的地}/
项目实现

1、创建项目2、定义要抓取的数据结构 - items.py3、爬虫文件数据分析与提取
页面地址分析
http://s.tuniu.com/search_complex/whole-sh-0-热门/list-a20190828_20190930-l200-m3922/
# 分析
list-a{出发时间_结束时间-出发城市-相关目的地}/
# 如何解决?
提取 出发城市及目的地城市的字典,key为城市名称,value为其对应的编码

# 提取字典,定义config.py存放
代码实现4、管道文件处理 pipelines.py
  print(dict(item))
5、设置settings.py
获取出发城市和目的地城市的编号

tools.py代码实现

来源:http://www.137zw.com
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
137zw.com IT学习站致力于免费提供精品的java技术教程和python技术教程,CCNA书籍/资料/CCNP书籍/资料教程/CCIE书籍/资料/H3C学习/认证/一级建造师考试/微软学习/认证/包括基础教程和高级实战教程,同时也提供分享网站源码下载和互联网相关一系列的技术教程,我们想做的就是让知识分享更有价值!(IT学习站官方唯一域名地址:www.137zw.com 请谨防假冒网站!)本站所有资源全部收集于互联网或网友自行分享,分享目的仅供大家学习与参考,如无意中侵犯您的合法权益,请联系本站管理员进行删除处理!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

浙ICP备19022368号-1|Archiver|手机版|IT学习站-137zw.com

GMT+8, 2020-7-12 01:48 , Processed in 0.229113 second(s), 33 queries .

快速回复 返回顶部 返回列表