spec — 基本情報
| github_stars | 171.3k |
|---|---|
| pricing | 無料クレジット / 従量課金・セルフホスト可 |
| license | AGPL-3.0 |
| os | mac / windows / linux |
| japanese | 非対応 |
| difficulty | 初級 |
| recommended | RAG・エージェント向けWebデータ収集 |
概要
WebサイトをLLM向けデータに変換するスクレイピングAPI。クロール・抽出・検索をシンプルなAPIで提供する。
「WebサイトをLLM対応データに変換する」ことに特化したAPIサービスで、OSS版も公開されています。クロール・スクレイプ・検索・構造化抽出がシンプルなAPIに整理されており、RAGやエージェントのデータ供給部品として組み込みやすいのが強みです。アンチボット対策やJSレンダリングも吸収してくれるため、スクレイピングの泥臭い部分を外注できます。
主な機能
- サイト全体のクロールとMarkdown変換
- スキーマ指定の構造化抽出
- JavaScriptレンダリング・アンチボット対応
料金
無料枠から始められ、必要に応じて有料プランに拡張できます。
- 無料クレジット / 従量課金・セルフホスト可
※料金は変更される場合があります。最新の情報は公式サイトでご確認ください。
こんな人におすすめ
- RAG・エージェント向けWebデータ収集
- スクレイピング基盤の自前運用を避けたい開発者
- WebデータをRAGに定常供給するパイプラインを作る人
よくある質問
Q. Crawl4AIとどちらを選ぶべき?
A. 運用を任せたい・確実性重視ならFirecrawl(API)、コストゼロ・フルコントロールならCrawl4AI(OSS)です。
Q. 料金体系は?
A. クレジット制の従量課金で、無料クレジットから試せます。ページ数の多いクロールはクレジット消費に注意してください。
比較
glossary — わからない用語があったら
tags
related — 同カテゴリの人気エンティティ
スクリーンショットを渡すとそっくりなHTML/Reactコードを生成するツール。デザイン→コード変換の代表的OSS。
ChatGPT風UIのセルフホスト型チャットプラットフォーム。マルチプロバイダ・エージェント・RAGを1つのUIで扱える。
PythonだけでデータアプリのUIが作れるフレームワーク。分析ダッシュボードや社内ツールの定番。
ローカルLLM実行の土台となる推論エンジン。C/C++実装により、GPUがない普通のPCでもAIモデルを動かせる。
AIエージェントにブラウザ操作能力を与えるPythonライブラリ。Webサイトの操作・情報収集タスクを自動化する。