spec — 基本情報
| github_stars | 85.9k |
|---|---|
| pricing | open_source |
| license | Apache-2.0 |
| os | mac / windows / linux |
| japanese | 非対応 |
| difficulty | 上級 |
| recommended | 自前GPUでのLLM本番サービング |
概要
高スループットなLLM推論・サービングエンジン。PagedAttentionにより本番環境でのモデル配信コストを大きく下げる。
主な機能
- PagedAttentionによる高効率推論
- OpenAI互換APIサーバー
- 量子化・分散推論対応
比較
tags
related — 同カテゴリの人気エンティティ
Ollama OSS
ローカルでLLMを実行するデファクトスタンダード。1コマンドでLlama・Qwen・Gemma等のモデルを動かせる。
stars: 175.8k price: open_source license: MIT ja: none level: beginner
Dify OSS
LLMアプリ開発プラットフォームのOSS代表格。ワークフロー・RAG・エージェントをGUIで構築し、APIとして公開できる。
stars: 148.4k price: freemium license: Other ja: full level: beginner
Flowise OSS
ドラッグ&ドロップでLLMフローを構築するOSSツール。エージェント・チャットボットをノーコードで作成できる。
stars: 54.5k price: freemium license: Other ja: none level: beginner
Langflow OSS
AIエージェント・ワークフローのビジュアルビルダー。あらゆるモデル・API・DBに接続でき、MCPサーバーとしても動作する。
stars: 151.5k price: open_source license: MIT ja: none level: intermediate
LibreChat OSS
ChatGPT風UIのセルフホスト型チャットプラットフォーム。マルチプロバイダ・エージェント・RAGを1つのUIで扱える。
stars: 40.5k price: open_source license: MIT ja: partial level: intermediate