promptfoo OSS

概要

prompftooは、AIアプリのプロンプト（AIへの指示文）・モデル出力・セキュリティ脆弱性を自動でテストできるオープンソースのフレームワークです。YAMLファイル（設定書のようなもの）にテスト内容を書くだけで、コーディング不要で評価を実行でき、OpenAI・Anthropic・Geminiなど50以上のAIプロバイダーを横断比較できます。ローカル(自分のPC上)で完全動作するため、プロンプトの内容が外部サーバーに送られる心配もありません。

2026年3月にOpenAIによる買収が発表され注目を集めているツールです。Fortune 500企業の25%以上・世界30万人以上の開発者が利用しており、もともとは月間1,000万人以上のユーザーを抱えるサービス向けに開発されたという実績を持ちます。コア機能はMITライセンスで引き続き無料で使え、GitHubスター数は2万2,000以上に達しています。

主な機能

• プロンプト評価・モデル比較: 同じ質問を複数のAI（GPT・Claude・Geminiなど）に同時に送り、回答の品質・コスト・応答速度を一覧表で比較できます。どのAIが自分のタスクに最適かを「感覚」でなくデータで判断できます。
• 自動レッドチーミング（セキュリティ診断）: レッドチーミングとは「攻撃者視点でAIの弱点を探す検査」のこと。プロンプトインジェクション（指示を乗っ取る攻撃）・ジェイルブレイク・個人情報漏洩など50種類以上の脆弱性を自動で検出します。OWASP LLM Top 10といった国際的なセキュリティ基準にも対応しています。
• 多様なアサーション（合否判定）: 完全一致・部分一致・正規表現・JSONスキーマ検証・レイテンシ(応答速度)しきい値など多彩な判定方法が使えます。さらに「別のAIに採点させる」LLM-as-a-Judge方式にも対応しており、あいまいな回答品質も数値化できます。
• CI/CDパイプライン統合: CI/CDとは「コードを変更するたびに自動でテストを走らせる仕組み」のこと。GitHub ActionsなどのCI環境にpromptfooを組み込み、プロンプトを変更するたびに自動で品質・安全性チェックを実施し、問題があればリリースを止めることができます。
• ローカル完全動作・プライバシー保護: 評価は自分のマシン上で完結します。プロンプトの内容は選択したAIプロバイダー以外には送られません。機密性の高い業務プロンプトでも安心して検証できます。
• エージェント・RAGのテスト: エージェント（自律的に複数の処理を行うAI）やRAG（手持ちの資料をAIに読ませて答えさせる仕組み）のパイプラインも専用のテスト機能でカバーされており、単純なQA以外の複雑なAIアプリにも対応します。
• ビジュアルWebUI: コマンドラインで操作するだけでなく、ブラウザ上のマトリクス表示で各モデル・各プロンプトの結果を視覚的に比較できます。結果はJSON・HTML・スプレッドシートへのエクスポートも可能です。

料金プラン

※「プローブ」とはレッドチーミング中にAIアプリへ送信するテストリクエスト1件のこと。Communityプランでは月1万件まで無料で利用可能です。コア機能の評価・テストはすべてのプランで無料です。料金の詳細は公式サイト（https://www.promptfoo.dev/pricing/）で必ず確認してください。

導入方法

① インストール（3通りのいずれか）

# npxで都度実行（インストール不要・おすすめ）
npx promptfoo@latest init

# npmでグローバルインストール
npm install -g promptfoo

# Homebrewの場合（Mac）
brew install promptfoo

② 初期設定ファイルを生成

# 対話形式でpromptfooconfig.yamlを自動作成
promptfoo init

# またはブラウザUIで視覚的に設定する場合
promptfoo eval setup

③ テスト設定を記述（例: promptfooconfig.yaml）

prompts:
  - "{{topic}}についてわかりやすく説明してください"
providers:
  - openai:gpt-4.1-mini
  - anthropic:claude-3-5-haiku-20241022
tests:
  - vars:
      topic: 機械学習
    assert:
      - type: contains
        value: "学習"

④ 評価を実行

promptfoo eval

結果はターミナルに表示されるほか、ブラウザのWebUIで視覚的に確認できます。

⑤ セキュリティ診断（レッドチーミング）を実行する場合

promptfoo redteam init
promptfoo redteam run

こんな人におすすめ

• AIチャットボットやカスタマーサポートツールを作っている個人開発者: プロンプトを変えるたびに「なんか回答がおかしくなった」を防ぎたい人。複数のAIを比較して最もコスパの良いモデルを選びたい人にも最適です。
• AIアプリをリリース前にセキュリティチェックしたい人: ジェイルブレイク（AIの制限をすり抜ける攻撃）や個人情報の意図しない漏洩といったリスクを、ユーザーが発見する前に自動で検出できます。特に顧客向けサービスを作る場合に安心感が大きく違います。
• RAGやエージェントを開発している人: RAG（社内文書をAIに読ませて回答させる仕組み）やAIエージェントの回答品質を、リリース前に体系的に確認したい人。「なんとなく動いている」から「データで確認できている」状態に移行できます。
• チームでAI開発をしているエンジニアやPM: GitHubと連携してプルリクエストごとに自動テストを走らせ、AIの品質劣化をコードと同じように管理したい人。Enterpriseプランではチーム共有・権限管理にも対応します。

よくある質問

Q. プログラミングの知識がなくても使えますか? A. 基本的な評価はYAML（設定ファイル）を書くだけで実行でき、コーディングは不要です。ただし、インストールにNode.jsの導入とコマンドライン操作が必要なため、最低限のターミナル操作に慣れていると導入がスムーズです。初回セットアップはブラウザUIからも行えます。

Q. OpenAI以外のAI（ClaudeやGeminiなど）にも使えますか? A. はい、対応しています。OpenAI・Anthropic(Claude)・Google(Gemini)・Ollama（ローカルLLM）・DeepSeekなど50以上のプロバイダーに対応しており、複数を同時に比較することもできます。2026年3月にOpenAIによる買収が発表されましたが、現時点ではAnthropic・Google・Metaなど他社モデルの統合は変わらず維持されています。

Q. 自分のプロンプトや社内データが外部に漏れませんか? A. 評価はすべて自分のマシン上で動作し、送信先はユーザー自身が指定したAIプロバイダーのみです。promptfooのサーバーにプロンプト内容が送られることはありません。機密性の高いプロンプトでも安心して利用できます。

Q. 無料版でできることに大きな制限はありますか? A. Communityプラン（無料）では、プロンプト評価・モデル比較・レッドチーミング・CI/CD統合といったコア機能をすべて利用できます。チーム間でのダッシュボード共有やSSO・コンプライアンス管理などを必要とする場合はTeam/Enterpriseプランの検討が必要ですが、個人開発や小規模チームでは無料版で十分なケースがほとんどです。