LLM 파이프라인에 맞춘 오픈소스 웹 크롤러
unclecode/crawl4ai ↗, Python, Apache-2.0, 최근 커밋 2일 전
LLM 파이프라인에 넣기 좋은 형태로 웹을 긁어 오는 오픈소스 크롤러입니다. 페이지를 가져와 언어 모델이 바로 소화할 수 있는 깔끔한 마크다운으로 돌려주고, 파이썬 API 는 URL 하나짜리 수집부터 대규모 비동기 크롤링까지 같은 방식으로 다룹니다.
