spec — 基本情報
| github_stars | 148.5k |
|---|---|
| pricing | 無料クレジット / 従量課金・セルフホスト可 |
| license | AGPL-3.0 |
| os | mac / windows / linux |
| japanese | 非対応 |
| difficulty | 初級 |
| recommended | RAG・エージェント向けWebデータ収集 |
概要
WebサイトをLLM向けデータに変換するスクレイピングAPI。クロール・抽出・検索をシンプルなAPIで提供する。
主な機能
- サイト全体のクロールとMarkdown変換
- スキーマ指定の構造化抽出
- JavaScriptレンダリング・アンチボット対応
比較
tags
related — 同カテゴリの人気エンティティ
Ollama OSS
ローカルでLLMを実行するデファクトスタンダード。1コマンドでLlama・Qwen・Gemma等のモデルを動かせる。
stars: 175.8k price: open_source license: MIT ja: none level: beginner
Dify OSS
LLMアプリ開発プラットフォームのOSS代表格。ワークフロー・RAG・エージェントをGUIで構築し、APIとして公開できる。
stars: 148.4k price: freemium license: Other ja: full level: beginner
Flowise OSS
ドラッグ&ドロップでLLMフローを構築するOSSツール。エージェント・チャットボットをノーコードで作成できる。
stars: 54.5k price: freemium license: Other ja: none level: beginner
Langflow OSS
AIエージェント・ワークフローのビジュアルビルダー。あらゆるモデル・API・DBに接続でき、MCPサーバーとしても動作する。
stars: 151.5k price: open_source license: MIT ja: none level: intermediate
LibreChat OSS
ChatGPT風UIのセルフホスト型チャットプラットフォーム。マルチプロバイダ・エージェント・RAGを1つのUIで扱える。
stars: 40.5k price: open_source license: MIT ja: partial level: intermediate