crawl4ai
由 unclecode 研发
Crawl4AI 是一个开源且对大模型极友好的网页爬虫与数据提取工具。它能将复杂网页快速转化为干净、结构化的 Markdown，适用于 RAG、AI Agent 及数据管道。支持 LLM 驱动的结构化 JSON 提取、防爬规避、多浏览器控制和会话管理，并提供 Docker 部署，让开发者高效地获取 AI 就绪的数据。
- LLM 友好的 Markdown 生成
- AI 驱动的结构化数据提取
- 动态网页渲染与防爬规避
- 深度爬取与状态恢复
- Docker 容器化与 API 部署
webdesktop