爬虫 | Python搞定软科中国大学排名

爬虫 | Python搞定软科中国大学排名

使用Python进行软科中国大学排名爬虫的步骤如下：
网页分析：
目标网址展示的是动态加载的内容，无法通过简单的get请求切换网页进行爬取。通过分析网页结构，发现所需信息存储在payload.js文件中，该文件包含590所学校的所有信息。解析payload.js文件：
文件内容格式不规则，包含类似json格式的信息和JavaScript语法，因此使用正则表达式进行提取。解析后生成Dataframe，但包含许多替代字符，这些字符需要进一步处理。处理替代字符：
分析payload.js文件的开头和结尾部分，理解__NUXT_JSONP__变量的作用，它是用于在客户端渲染模式下获取服务器端渲染的数据。对比内外层函数的参数，进行字典映射，将替代字符替换为实际值。保存数据：
将处理后的数据保存为表格格式，以便后续分析和可视化。可视化源码和数据：
可以使用在线平台运行代码，进行数据的可视化和分析。注意事项： 在进行爬虫操作时，请遵守目标网站的robots.txt协议和相关法律法规。 爬虫行为可能会对目标网站造成负担，因此请合理控制请求频率和数量。 解析复杂网页结构时，可能需要深入了解网页的渲染机制和JavaScript代码。
2025-04-14