Crawl4AI

LLM パイプラインに流し込みやすい形で Web を収集するオープンソースのクローラーです。ページを取得して、言語モデルがそのまま扱える構造化された Markdown で返します。Python API は URL 一件の取得から大規模な非同期クロールまで同じ書き方でこなします。