第七章爬取App和PC客户端数据思维导图

弓长-张

2024-05-07

浏览量: 0

数据爬取

软件数据

客户数据

数据爬取，客户端数据等内容讲解

树图思维导图提供《第七章爬取App和PC客户端数据》在线思维导图免费制作，点击“编辑”按钮，可对《第七章爬取App和PC客户端数据》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：effb0c3dc5e6616b731f9a93857a5c9b

思维导图大纲

爬取App数据

Fiddler 是常用的App 抓包工具。它是位于客户端和服务器端的 HTTP 代理，能够记录客户端和服务器端之间的所有 HTTP 请求，可以针对特定的 HTTP 请求分析请求数据，设置断点、调试 Web 应用、修改请求数据，甚至可以修改服务器端返回的数据，功能非常强大。

设置 Fiddler 和 Android 手机

Fiddler： 1.单击“开始”按钮，选择“Fiddler 4”选项。 2.打开“AppContainer Configuration”对话框，单击“Cancel”按钮。 3.打开“Progress Telerik Fiddler Web Debugger” 窗口，在菜单栏中选择“Tools”一“Options”选项。 4.打开“Options”对话框，切换到“HTTPS”选项卡中，勾选“DecryptHTTPStrafic”复选框(表示可记录HTTPS 请求)，在展开的列表中勾选“Ignore server certificate errors”复选框。 5.切换到“Connections”选项卡中，勾选“Allow remote computers to connect”复选框(表示允许别的远程设备发送 HTTP/HTTPS 请求到 Fiddler)，单击“OK”按钮。 6.重启 Fiddler 4，即可完成设置。

Android 手机： 1. 确保 Android 手机和计算机在同一局域网内 (如连接同一无线网络)。确保Fiddler 完成设置，并正在运行。 2. 打开命令提示符窗口，输入“ipconfig”命令，查看无线局域网适配器 WLAN步骤 2的IPv4地址。 3. 在手机端选择“设置”一“无线和网络”一“WLAN”选项，长按已经连步骤 3接的网络，在弹出的列表中选择“修改网络”选项。 4. 打开选择代理类型界面，勾选“显示高级选项”复选框，在弹出的列表中步骤4选择“代理”选项，然后在弹出的界面中勾选“手动”单选钮。 5. 打开设置代理界面，设置“服务器主机名”为“192.168.1.111”，设置“服务器端口”为“8888”，点击“保存”按钮。 6. 在Android手机自带的浏览器中访问“http://192.168.1.111:8888”，然后点击“FiddlerRoot certificate”链接下载证书。 7. 进入手机的“下载管理”界面，点击下载好的“FiddlerRoot.cer”文件，输入锁屏密码，设置“证书名称”为“FiddlerRoot certificate”，点击“确定”按钮、安装证书。 8. 安装完成后，即可完成 Android 手机的设置。

Fiddler 抓包分析

Fiddler 抓取App 数据包并分析数据的过程如下： (1)在计算机上启动 Fiddler，在 Android 手机上打开 App，如金山词霸App。 (2) Fiddler 抓取到的数据包都会显示在左侧列表中，查看是否包含金山词霸 App的信息(zixun.iciba.com)，如果有，说明 Fiddler 成功抓取了金山词霸 App 的数据包。 (3)双击“zixuniciba.com”后，切换到“Inspectors”选项卡中，可以查看数据包的请求信息和响应信息。上半部分显示请求信息，下半部分显示响应信息。 (4)切换到请求信息部分的“Raw”选项卡，可显示请求方法、URL、请求头和请求体(有的请求没有请求体);切换到响应信息部分的“JSON”选项卡，若响应数据是JSON格式，则会以JSON形式显示响应内容。

爬取思路

爬取App数据的思路如下 (1)确保手机和计算机在同一局域网内 (如连接同一无线网络)，并完成 Fiddler 和Android手机的设置，启动 Fiddler。 (2)打开手机 App，查看需要爬取的数据。 (3)在 Fiddler 中分析请求信息，获取请求方法、URL、请求头和请求体等参数;查看响应数据格式，便于解析响应数据。 (4)编写程序，发送HTTP 请求，解析返回的响应，获取所需数据。

爬取PC客户端数据

Fiddler 不仅可以抓取 App 的数据包，还可以借助 Proxifier 抓取 PC 客户端的数据包。由于一般的 C/S 客户端不能设置代理，所以直接使用 Fiddler 抓取不到数据，此时需使用 Proxifier 抓取 PC客户端的请求并发送给 Fiddler，然后使用 Fiddler 来分析请求和响应。

设置 Fiddler 和 Proxifier

1.设置 Fiddler （1）在“Options”窗口，切换到“HTTPS”选项卡中，勾选“Check for certificate revocation” 复选框，单击“OK”按钮。 2. 设置 Proxifier （1）启动 Proxifier，在菜单栏中选择“配置文件”一“代理服务器”选项。（2）打开“代理服务器”对话框，单击“添加”按钮。（3）在打开的对话框中设置地址为“127.0.0.1”，设置端口为“8888”(与 Fiddler设置的端口一致)，勾选“HTTPS”单选钮，单击“确定”按钮。返回“代理服务器”对话框，单击“确定”按钮。（4）在菜单栏中选择“配置文件”一“代理规则”选项。（5）打开“代理规则”对话框，单击“添加”按钮。（6）在打开的对话框中的“应用程序”编辑框中输入“Fiddler.exe”，在“动作”的下拉列表中选择“Direct”选项，单击“确定”按钮。返回“代理规则”对话框，单击“确定”按钮。