常用的Python爬虫工具列表有哪些

常用的Python爬虫工具列表有哪些

本文详尽总结了Python爬虫常用的工具列表。从网络请求、网络爬虫框架、解析器、清理、文本处理、转换、特定格式文件处理到云计算等多方面进行了细致介绍。以下为工具列表概览：
网络工具
urllib, requests, grab, pycurl, urllib3, httplib2, RoboBrowser, MechanicalSoup, mecanize, socket异步工具: treq, aiohttp网络爬虫框架
功能齐全的框架: grab, Scrapy, pyspider, cola解析器与清理
HTML/XML解析器: lxml, cssselect, pyquery, BeautifulSoup, html5lib, feedparser, MarkupSafe, xhtml2pdf, untangle清理工具: bleach, sanitize文本处理
通用库: difflib, Levenshtein, fuzzywuzzy, esmre, ftfy, unidecode特定格式文件处理
tablib, textract, messytables, rows数据库
sqlparseHTTP
http-parser微格式解析
opengraph可移植的执行体
pefile文件格式
图片: psd-tools自然语言处理: NLTK, Pattern, TextBlob, jieba, SnowNLP, loso, genius, langid.py, Korean, pymorphy2, PyPLN浏览器自动化
selenium, Ghost.py, Spynner, Splinter异步编程
asyncio, Twisted, Tornado, pulsar, diesel, gevent, eventlet, Tomorrow队列管理
celery, huey, mrq, RQ, simpleq, python-gearman云计算
picloud, Domino Data Lab邮件处理
flanker, Talon网址与网络地址
furl, purl, urllib.parse, tldextract, netaddr网页内容提取
newspaper, html2text, python-goose, lassie, micawber, sumy, Haul, python-readability, scrapely视频处理
youtube-dl, you-get维基
WikiTeamWebSocket
Crossbar, AutobahnPython, WebSocket-for-PythonDNS解析
dnsyo, pycares计算机视觉
OpenCV, SimpleCV, mahotas代理服务器
tproxy以上总结了Python爬虫开发中常用的工具库，涵盖了从网络请求、数据抓取、解析、处理到文件操作、数据库、云计算等多方面的工具，为开发者提供了丰富的资源支持。
2024-08-16