檬味博客 » 问答 » Python » 怎么样python爬虫进行此网站爬取

怎么样python爬虫进行此网站爬取

可以通过【Python：import execjs】直接调用他的pako.js文件的JS的inflate()函数来解压这块。JS代码混淆后看起来是非常难懂的，使用这种做法可以不用太看懂加密的算法，效率当然写Python实现这个解密算法低1点咯。最后的JSON再用【Python：import demjson】解析，text的value就是文档。
怎么样python爬虫进行此网站爬取
是加密的，解密方法在JS里面可以弄出来。
首先要AES解密，可以【Python：import Crypto.Cipher.AES】包，解密mode是CFB，seed是"userId:"+uid+":seed"的SHA256值，解密的key是seed[0:24]，iv是seed[len(seed)-16:]。
如果没有登录，uid就是用的"anyone"，这时候的seed是"61581AF471B166682A37EFE6DD40FE4700EE337FEEEF65E2C8F203FCA312AAAB"，也就是key为"61581AF471B166682A37EFE6"，iv为"C8F203FCA312AAAB"。
解密后文件是压缩过的，解压即可得到一个JSON。这部分解压我没仔细看他的算法，好像是gzip，直接用【Python：import gzip】解压有点出错，可能没用对或者不是这个算法，你在研究一下。第二种投机的方法就是，可以通过【Python：import execjs】直接调用他的pako.js文件的JS的inflate()函数来解压这块。JS代码混淆后看起来是非常难懂的，使用这种做法可以不用太看懂加密的算法，效率当然写Python实现这个解密算法低1点咯。
最后的JSON再用【Python：import demjson】解析，text的value就是文档。
2017-12-23
八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器，可以帮助您快速进行网站数据的采集。如果您想使用Python爬虫进行网站爬取，可以使用Python的第三方库，如Requests和BeautifulSoup等。以下是一般的Python爬虫步骤：1. 安装Python和所需的第三方库。可以使用pip命令安装Requests和BeautifulSoup库。2. 导入所需的库。在Python脚本中，使用import语句导入Requests和BeautifulSoup库。3. 发送HTTP请求。使用Requests库发送HTTP请求，获取网页的HTML源代码。4. 解析HTML源代码。使用BeautifulSoup库解析HTML源代码，提取所需的数据。5. 处理数据。根据需要，对提取的数据进行处理和清洗。6. 存储数据。将处理后的数据保存到本地文件或数据库中。请注意，使用Python爬虫进行网站爬取需要一定的编程和代码知识，并且需要遵守网站的爬虫规则和法律法规。在进行网站爬取之前，请确保您已经了解相关法律法规，并获得了网站的授权或遵守了网站的使用协议。八爪鱼采集器提供了可视化的操作界面和丰富的功能，使用户无需编程和代码知识就能够轻松进行网站数据的采集。如果您想快速进行网站数据采集，推荐使用八爪鱼采集器。八爪鱼为用户准备了一系列简洁易懂的教程，帮助大家快速掌握采集技巧，轻松应对各类网站数据采集，请前往官网教程与帮助了解更多详情。2023-08-08
mengvlog 阅读 900 次 更新于 2025-09-09 19:04:00 我来答关注问题0
2 个回答檬味博客专题活动
  • 米粒聊电子与数码 python如何爬虫

    1、安装必要的库 为了编写爬虫，你需要安装一些Python库，例如requests、BeautifulSoup和lxml等。你可以使用pip install命令来安装这些库。2、抓取网页数据 主要通过requests库发送HTTP请求，获取网页响应的HTML内容。3、解析HTML 使用BeautifulSoup等库对HTML进行解析，提取需要的数据。4、存储数据 将提取的数据存...

  • 宸辰游艺策划 怎么用python爬虫爬取可以加载更多的网页

    在使用Python进行网页爬取时，遇到需要加载更多内容的情况，可以借助一些工具和框架来实现自动化处理。例如，可以利用pyspider这个爬虫框架，并结合PhantomJS，这样便能在Python中嵌入一些JavaScript代码，从而实现点击、下拉等操作，轻松应对需要动态加载内容的网页。PhantomJS是一款基于Webkit的自动化工具，支持JavaS...

  • 深空见闻 爬虫使用方法

    发起请求：这是爬虫工作的第一步，通常使用HTTP库（如Python中的requests库）向目标网站发起请求。这个请求包含了请求头、请求体等信息，用于告诉服务器你想要获取哪些数据。但需要注意的是，Request模块有缺陷，不能执行JS和CSS代码。获取响应内容：当服务器接收到你的请求后，会返回一个响应（Response）。...

  • 八爪鱼大数据 怎么样python爬虫进行此网站爬取

    首先要AES解密，可以【Python：import Crypto.Cipher.AES】包，解密mode是CFB，seed是"userId:"+uid+":seed"的SHA256值，解密的key是seed[0:24]，iv是seed[len(seed)-16:]。如果没有登录，uid就是用的"anyone"，这时候的seed是"61581AF471B166682A37EFE6DD40FE4700EE337FEEEF65E2C8F203FCA...

  • 翡希信息咨询 从0到1学习Python爬虫-使用Chrome浏览器进行抓包!

    从0到1学习Python爬虫，使用Chrome浏览器进行抓包的步骤如下：打开Chrome浏览器并进入开发者工具：打开Chrome浏览器，输入你想要抓包的网站地址。按下F12键，即可打开Chrome的开发者工具。定位到Network面板：在开发者工具中，有多个面板可供选择。为了进行抓包，你需要定位到Network面板。Network面板用于显示请求...

其他Python类似问题

檬味博客在线解答立即免费咨询

Python相关话题

Copyright © 2023 WWW.MENGVLOG.COM - 檬味博客
返回顶部