“花瓶”-Charles+Python采集微信小程序停车数据

“花瓶”-Charles+Python采集微信小程序停车数据

数据收集领域不断扩展，微信小程序和APP成为新的数据来源。本文将记录第一次尝试爬取手机端数据的经验，目标是获取西安市市民一码通小程序中的停车诱导页面数据。

本次数据采集对象是西安市的停车诱导页面，与以往网页爬虫不同的是，手机端信息以用户界面的形式展现，其运行逻辑与网页相近。然而，手机端的访问方式与电脑端存在差异，手机无法直接使用F12进入开发者调试页面。为解决这一问题，使用Charles工具进行数据抓取。

Charles是一款HTTP代理/监控器，允许开发者查看其设备与互联网之间所有HTTP和SSL/HTTPS的流量，包括请求、响应和HTTP头部（包含Cookies和缓存信息）。通过Charles，可以获取到小程序的请求地址和详情。

初步分析发现，手机端请求地址由zimoiot.com加上特定参数组成。配置Charles后，可以监控到手机端小程序的请求记录。

通过操作手机端小程序，发现页面动态加载附近停车场列表时，请求网址为jianda.zimoiot.com/app/...，请求方式为POST。默认参数包括页面页码、显示数量、用户ID等，可将页面显示信息数量和查找范围设置为99999，实现不限距离和数量的检索。

在Python编程过程中，需注意几点：响应结果为完整的json结构，使用pandas库的json_normalize函数可将json转换为DataFrame，方便快速存储为Excel文件。

最终，成功采集到全市4158个停车场信息，包括区域、经纬度、泊位数、价格等数据。已使用停车位数量随采集时间变化，具有实时性。

所有测试仅用于科研目的，如有问题，请联系公众号：永动肓盲。2024-10-14