Crawl4AI OSS

概要

LLMフレンドリーなWebクローラー。ページをクリーンなMarkdownに変換し、AIパイプラインへの入力に最適化。

GitHubで爆発的にスターを集めた、LLM時代のWebクローラーの代表格です。従来のスクレイパーと違い「AIに読ませる」ことを前提に設計されており、ノイズを除去したクリーンなMarkdown出力、LLMベースの構造化抽出、非同期の高速クロールが揃っています。RAGのデータ収集パイプラインの定番部品になりました。

主な機能

• 高速な非同期クローリング
• LLM向けMarkdown出力
• CSSセレクタ/LLMベースの構造化抽出
• セッション管理・プロキシ対応

料金

オープンソースとして無料で利用できます。

※詳細は公式サイトでご確認ください。

導入方法

pip install crawl4ai
crawl4ai-setup

こんな人におすすめ

• RAG用データ収集、エージェントのWeb情報取得
• RAGシステムのデータ収集を内製したい開発者
• APIのないサイトから構造化データを取得したい人

よくある質問

Q. Firecrawlとの違いは?

A. Crawl4AIは完全OSSでセルフホストが前提、FirecrawlはマネージドAPI(OSS版もあり)です。運用の手間を取るか費用を取るかの選択になります。

Q. JavaScriptで描画されるサイトも取れますか?

A. Playwrightベースのブラウザクロールに対応しており、動的サイトも取得できます。