Crawl4AI

一款面向 LLM 流水线的开源网页爬虫和抓取器。它把抓到的页面整理成语言模型可以直接使用的结构化 Markdown，Python API 从单个 URL 到大规模异步抓取都用同一套写法。