檬味博客 » 问答 » Python » 怎么样python爬虫进行此网站爬取

怎么样python爬虫进行此网站爬取

可以通过【Python：import execjs】直接调用他的pako.js文件的JS的inflate()函数来解压这块。JS代码混淆后看起来是非常难懂的，使用这种做法可以不用太看懂加密的算法，效率当然写Python实现这个解密算法低1点咯。最后的JSON再用【Python：import demjson】解析，text的value就是文档。
怎么样python爬虫进行此网站爬取
是加密的，解密方法在JS里面可以弄出来。
首先要AES解密，可以【Python：import Crypto.Cipher.AES】包，解密mode是CFB，seed是"userId:"+uid+":seed"的SHA256值，解密的key是seed[0:24]，iv是seed[len(seed)-16:]。
如果没有登录，uid就是用的"anyone"，这时候的seed是"61581AF471B166682A37EFE6DD40FE4700EE337FEEEF65E2C8F203FCA312AAAB"，也就是key为"61581AF471B166682A37EFE6"，iv为"C8F203FCA312AAAB"。
解密后文件是压缩过的，解压即可得到一个JSON。这部分解压我没仔细看他的算法，好像是gzip，直接用【Python：import gzip】解压有点出错，可能没用对或者不是这个算法，你在研究一下。第二种投机的方法就是，可以通过【Python：import execjs】直接调用他的pako.js文件的JS的inflate()函数来解压这块。JS代码混淆后看起来是非常难懂的，使用这种做法可以不用太看懂加密的算法，效率当然写Python实现这个解密算法低1点咯。
最后的JSON再用【Python：import demjson】解析，text的value就是文档。
2017-12-23
八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器，可以帮助您快速进行网站数据的采集。如果您想使用Python爬虫进行网站爬取，可以使用Python的第三方库，如Requests和BeautifulSoup等。以下是一般的Python爬虫步骤：1. 安装Python和所需的第三方库。可以使用pip命令安装Requests和BeautifulSoup库。2. 导入所需的库。在Python脚本中，使用import语句导入Requests和BeautifulSoup库。3. 发送HTTP请求。使用Requests库发送HTTP请求，获取网页的HTML源代码。4. 解析HTML源代码。使用BeautifulSoup库解析HTML源代码，提取所需的数据。5. 处理数据。根据需要，对提取的数据进行处理和清洗。6. 存储数据。将处理后的数据保存到本地文件或数据库中。请注意，使用Python爬虫进行网站爬取需要一定的编程和代码知识，并且需要遵守网站的爬虫规则和法律法规。在进行网站爬取之前，请确保您已经了解相关法律法规，并获得了网站的授权或遵守了网站的使用协议。八爪鱼采集器提供了可视化的操作界面和丰富的功能，使用户无需编程和代码知识就能够轻松进行网站数据的采集。如果您想快速进行网站数据采集，推荐使用八爪鱼采集器。八爪鱼为用户准备了一系列简洁易懂的教程，帮助大家快速掌握采集技巧，轻松应对各类网站数据采集，请前往官网教程与帮助了解更多详情。2023-08-08
mengvlog 阅读 102 次 更新于 2025-07-19 12:56:47 我来答关注问题0
2 个回答檬味博客专题活动
  • 宸辰游艺策划 怎么用python爬虫爬取可以加载更多的网页

    在使用Python进行网页爬取时，遇到需要加载更多内容的情况，可以借助一些工具和框架来实现自动化处理。例如，可以利用pyspider这个爬虫框架，并结合PhantomJS，这样便能在Python中嵌入一些JavaScript代码，从而实现点击、下拉等操作，轻松应对需要动态加载内容的网页。PhantomJS是一款基于Webkit的自动化工具，支持JavaS...

  • 米粒聊电子与数码 python如何爬虫

    1、安装必要的库 为了编写爬虫，你需要安装一些Python库，例如requests、BeautifulSoup和lxml等。你可以使用pip install命令来安装这些库。2、抓取网页数据 主要通过requests库发送HTTP请求，获取网页响应的HTML内容。3、解析HTML 使用BeautifulSoup等库对HTML进行解析，提取需要的数据。4、存储数据 将提取的数据存...

  • 八爪鱼大数据 怎么样python爬虫进行此网站爬取

    首先要AES解密，可以【Python：import Crypto.Cipher.AES】包，解密mode是CFB，seed是"userId:"+uid+":seed"的SHA256值，解密的key是seed[0:24]，iv是seed[len(seed)-16:]。如果没有登录，uid就是用的"anyone"，这时候的seed是"61581AF471B166682A37EFE6DD40FE4700EE337FEEEF65E2C8F203FCA3...

  • 文暄生活科普 4个详细步骤讲解Python爬取网页数据操作过程!(含实例代码)

    首先，使用Python的webbrowser.open()函数，以示例形式打开一个网站。记得在脚本头部添加#!python，这表明程序由Python执行。复制网站内容，通过命令行或直接在程序中输入地址，启动程序。接着，利用requests模块下载网页内容，它非Python内置，需通过pip install request安装。为确保下载成功，可以使用raise_for...

  • 翡希信息咨询 Python网络爬虫:Requests库:get函数使用方法

    requests.getpage_text = response.textwith open as f: f.writeprint6. 其他控制参数： get函数还支持其他多个参数，如timeout用于设置请求超时时间，proxies用于设置代理服务器等，可以根据需要进行配置。通过使用Requests库的get函数，可以方便地进行网页抓取和数据提取，是网络爬虫开发中常用的工具之一。

其他Python类似问题

檬味博客在线解答立即免费咨询

Python相关话题

Copyright © 2023 WWW.MENGVLOG.COM - 檬味博客
返回顶部