python-爬取美团店铺信息-请求参数简单逆向

首先登录美团网,随便搜索一个关键字,如"肯德基",查看网络请求。按下F12调试,点击Network,进行翻页操作,已抓取多包数据。对包进行分析,搜索关键词定位所需内容,发现返回json格式数据包。对响应结果与请求方式重点分析接口,复制响应数据,用json在线工具解析。分析得知有用信息包含在searchResult内,一...
python-爬取美团店铺信息-请求参数简单逆向
通过此文章你可简单了解网站参数逆向过程,初步体验爬虫的乐趣。

爬取对象:web端

获取数据形式:API接口,返回json数据

绕过身份验证方式:登录信息缓存

首先登录美团网,随便搜索一个关键字,如"肯德基",查看网络请求。

按下F12调试,点击Network,进行翻页操作,已抓取多包数据。

对包进行分析,搜索关键词定位所需内容,发现返回json格式数据包。

对响应结果与请求方式重点分析接口,复制响应数据,用json在线工具解析。

分析得知有用信息包含在searchResult内,一个object对应一个商店信息,提取店名、分类、经纬度、人均消费等。

分析请求方式,识别用户身份的id、分页数量limit、搜索关键字q、会话缓存token,允许直接请求接口,无需登录。

研究payload数据发现,每换一页,offset数值增加32,表示请求的页面序号。

搜索其他关键字,如"麦当劳",参数规律与预期相符,推测红色方框位置参数为城市编号。

通过点击切换城市,得到所有城市信息页面,快速定位接口,发现openCityList字典存储各城市信息。

解析得知佛山对应id为92,即为城市编号。

接口逆向过程至此结束,利用Python编写代码验证可行,已成功打印10页数据。

完成整个流程,掌握API请求方法与参数解析,为后续爬虫项目打下基础。2024-11-21
mengvlog 阅读 42 次 更新于 2025-09-09 10:32:25 我来答关注问题0
  • 爬取对象:web端 获取数据形式:API接口,返回json数据 绕过身份验证方式:登录信息缓存 首先登录美团网,随便搜索一个关键字,如"肯德基",查看网络请求。按下F12调试,点击Network,进行翻页操作,已抓取多包数据。对包进行分析,搜索关键词定位所需内容,发现返回json格式数据包。对响应结果与请求方式重点...

  •  文暄生活科普 爬虫,美团外卖的爬取思路?

    面对加密参数如X-FOR-WITH和_token,暂时忽略,直接请求数据。成功获取数据后,注意数据格式为序列化JSON,便于提取。发现获取到的 startIndex 参数为翻页参数,编写动态循环代码,打印数据以检查提取效果。数据提取过程中发现数字字段存在乱码,推测为美团字体替换混淆技术所致。通过查找woff文件并分析编码,实现...

  •  腾讯电脑管家 Python爬虫:爬取美团,大众点评,去哪儿

    最先考虑仅采取 webdriver + selenium 的方式爬取信息,但是考虑后续程序需要放在Linux服务器执行,所以转而采用 requests+beautifulsoup 的方式实现。开发过程中,采用两者的结合,而selenium可以通过headless的方式实现。

  • anonymous python网络爬虫可以干啥

    5、大众点评、美团网等餐饮及消费类网站:抓取各种店面的开业情况以及用户消费和评价,了解周边变化的口味,所谓是“舌尖上的爬虫”。以及各种变化的口味,比如:啤酒在衰退,重庆小面在崛起。6、58同城等分类信息网站:抓取招商加盟的数据,对定价进行分析,帮助网友解惑。7、拉勾网、中华英才网等招聘网站:...

  • 8、爬取某网商品价格信息 你都用 Python 来做什么?那Python 作为一种功能强大的编程语言,因其简单易学而受到很多开发者的青睐。那么,Python 的应用领域有哪些呢?Python 的应用领域非常广泛,几乎所有大中型互联网企业都在使用 Python 完成各种各样的任务,例如国外的 Google、Youtube、Dropbox,国内的...

檬味博客在线解答立即免费咨询

Python相关话题

Copyright © 2023 WWW.MENGVLOG.COM - 檬味博客
返回顶部