python-scraper
功能概述
Python 爬虫生成器能够自动生成健壮的网页爬虫脚本,处理动态加载页面、验证码、IP 限制等常见反爬机制。
核心功能
- 自动生成:根据目标网站自动生成爬虫代码
- 动态渲染:支持 JavaScript 渲染的 SPA 页面
- 反爬处理:代理轮换、请求头伪装、频率控制
- 数据导出:支持 CSV、JSON、数据库等多种输出格式
使用场景
- 电商商品信息采集
- 社交媒体数据抓取
- 新闻和文章内容采集
- 市场研究和竞品分析
文件位置
C:\Users\kangg\.codex\skills\python-scraper\SKILL.md
数据来源: 本文内容来源于 Codex 本地安装的 Skill 定义文件,由 AI 整理为中文介绍。