spec — 基本情報
| github_stars | 71.9k |
|---|---|
| pricing | open_source |
| license | Apache-2.0 |
| os | mac / windows / linux |
| llms | claude / gpt / gemini / llama |
| japanese | 非対応 |
| difficulty | 中級 |
| recommended | RAG用データ収集、エージェントのWeb情報取得 |
概要
Crawl4AIはAI/LLM向けに設計されたオープンソースのWebクローラーです。取得したページをノイズの少ないMarkdownに変換し、RAGやエージェントのデータ収集に直接使えます。
主な機能
- 高速な非同期クローリング
- LLM向けMarkdown出力
- CSSセレクタ/LLMベースの構造化抽出
- セッション管理・プロキシ対応
導入手順
pip install crawl4ai
crawl4ai-setup比較
tags
related — 同カテゴリの人気エンティティ
Ollama OSS
ローカルでLLMを実行するデファクトスタンダード。1コマンドでLlama・Qwen・Gemma等のモデルを動かせる。
stars: 175.8k price: open_source license: MIT ja: none level: beginner
Dify OSS
LLMアプリ開発プラットフォームのOSS代表格。ワークフロー・RAG・エージェントをGUIで構築し、APIとして公開できる。
stars: 148.4k price: freemium license: Other ja: full level: beginner
Flowise OSS
ドラッグ&ドロップでLLMフローを構築するOSSツール。エージェント・チャットボットをノーコードで作成できる。
stars: 54.5k price: freemium license: Other ja: none level: beginner
Langflow OSS
AIエージェント・ワークフローのビジュアルビルダー。あらゆるモデル・API・DBに接続でき、MCPサーバーとしても動作する。
stars: 151.5k price: open_source license: MIT ja: none level: intermediate
LibreChat OSS
ChatGPT風UIのセルフホスト型チャットプラットフォーム。マルチプロバイダ・エージェント・RAGを1つのUIで扱える。
stars: 40.5k price: open_source license: MIT ja: partial level: intermediate