OllamaとOpen WebUIで始めるローカルLLM完全ガイド【2026年版】

OllamaとOpen WebUIで始めるローカルLLM完全ガイド【2026年版】

published: 2026/07/10 · updated: 2026/07/14

「ChatGPTを使いたいけど、会社の機密情報や個人的なメモを入力するのが怖い」「月額料金を払わずにAIを使いたい」「インターネットがない場所でもAIを使いたい」——そんな悩みを抱えていませんか？

この記事を読めば、自分のPCの中だけで動くAI（ローカルLLM） を、無料かつコマンドの知識がなくても構築できるようになります。使うツールは「Ollama」と「Open WebUI」の2つだけ。インストールからChatGPTそっくりの画面で会話するまで、コマンド例つきで一切省略せずに解説します。

---

なぜローカルLLMなのか？3つのメリット

プライバシーが完全に守られる

<cite index="27-23">Ollamaでの推論はすべてあなたのPC上で完結し、入力した内容は外部に送信されません（モデルの初回ダウンロード時を除く）。</cite>契約書・医療記録・個人の日記など、クラウドAIには絶対に送りたくない情報でも安心して扱えます。

使い放題・無料

<cite index="31-17">会話がマシンの外に出ることはなく、トークン単位の課金もなく、モデルをダウンロードしたらインターネットなしで完全オフラインで動きます。</cite>ChatGPTのような月額費用が一切かかりません。

オフラインでも動く

新幹線の中、電波の届かない山奥、セキュリティポリシーで外部接続が制限された会社のネットワーク——どんな環境でも、一度モデルをダウンロードしてしまえば動作します。

向く人・向かない人

こんな人に向くこんな人には向かない
機密情報をAIで処理したいとにかく最高品質のAIが欲しい（GPT-4oクラスは要クラウド）
月額コストをゼロにしたいPCのスペックが低い（RAM 8GB未満）
オフライン環境で使いたいセットアップに一切手を動かしたくない
AIの仕組みを学びたいエンジニアスマホだけで使いたい

---

必要なPCスペックの目安

ローカルLLMで一番大事なのは「メモリ」です。CPUやGPUのグレードより先に、RAMとVRAM（グラフィックカードのメモリ）の量を確認してください。

VRAM（グラフィックカードのメモリ） とは：PCのGPU（グラフィックカード）が持つ専用メモリのこと。AIモデルの「重み」を丸ごと載せる器です。VRAMが足りないとCPUに処理が逃げ、速度が大幅に低下します。

量子化（Quantization） とは：モデルの精度を少し落とす代わりに、必要なメモリを大幅に削減する技術。「Q4」と書いてあれば4bit圧縮です。<cite index="17-33,17-34">Q4_K_M量子化はモデルの重みを4bitに圧縮し、フルFP16比で必要VRAMを約75%削減しながら、出力品質は十分に保ちます。コンシューマー向けハードウェアでのローカルLLM展開において最適なバランスとされています。</cite>

ハードウェア別の目安表

環境動かせるモデルの目安体感速度
RAM 8GB・GPU なし3B〜7Bモデル（小型）3〜10トークン/秒（遅め）
RAM 16GB・VRAM 8GB（RTX 4060など）7B〜8Bモデル40〜80トークン/秒（快適）
RAM 16GB・VRAM 16GB（RTX 4070など）14Bモデルまで40〜70トークン/秒
RAM 32GB・VRAM 24GB（RTX 4090など）32Bモデルまで50〜80トークン/秒
Apple Silicon Mac（16GB以上）統合メモリ活用で高効率機種依存・概ね快適

<cite index="16-1">Ollamaの最低動作要件はRAM 8GB、空きディスク10GB、AVX2対応64bit CPU——GPUは必須ではありません。</cite>

<cite index="16-3">快適に日常使いするなら、RAM 16GBにNVIDIA RTX 3060/4060（VRAM 8〜12GB）またはApple Silicon Mac 16GB以上を目標にすると、7B〜14Bモデルを30〜60トークン/秒で動かせます。</cite>

<cite index="31-7,31-8">Apple Silicon（M1〜M4）はそのまま動作し、Appleの統合メモリアーキテクチャによりGPUとCPUが同じRAMプールを共有するため、32GBのMacなら他プラットフォームで専用GPUカードが必要なモデルも快適に動かせます。</cite>

> 💡 VRAMがモデルサイズを超えたときの注意 > <cite index="22-21">VRAMが溢れるとシステムRAMに処理が逃げます。あるベンチマークによるとQwen3 8Bモデルで全VRAMに収まる場合の40トークン/秒が、一部レイヤーがRAMに逃げると8トークン/秒まで落ちる——約5倍の速度差が出ます。</cite>大きいモデルより、VRAMにきっちり収まる小さめのモデルのほうが実用的です。

---

Step 1: Ollamaのインストール

Ollama とは：AIモデルを「1コマンドでダウンロードして動かす」ためのツール。Dockerがコンテナを管理するように、OllamaはAIモデルを管理します。<cite index="31-15,31-16">Ollamaはオープンソースのツールで、LLMをPCに直接ダウンロード・実行できます。AIモデルのパッケージマネージャーと思ってください——コマンド一発でモデルを取得し、セットアップを完了してローカルAPIを提供します。</cite>

{entity:ollama}

<cite index="3-18">モデルライブラリは200種類以上に達しています。</cite>2026年7月時点での最新バージョンはv0.31系です（最新バージョンは公式サイトを参照）。

macOSの場合

Homebrewがインストール済みであれば、ターミナルで以下を実行します。

brew install ollama

Homebrewがない場合はollama.comからmacOS用インストーラー（.dmg）をダウンロードしてドラッグ＆ドロップするだけです。

Windowsの場合

<cite index="28-2,28-3">GUIインストーラーはWindowsユーザーがコマンドラインの複雑な手順を踏まずに済むように設計されています。OllamaをWindowsサービスとして登録し、起動時に自動で起動・バックグラウンドで動作します。</cite>

ollama.comからWindows用インストーラーをダウンロードして実行してください。

Linux（Ubuntu/Debianなど）の場合

<cite index="28-1">Linuxでは以下のコマンドでインストールします。</cite>

curl -fsSL https://ollama.com/install.sh | sh

インストール確認

どのOSでも、インストール後はターミナル（またはコマンドプロンプト・PowerShell）で以下を実行して確認します。

ollama --version

バージョン番号が表示されれば成功です。

---

Step 2: AIモデルのダウンロードと起動

Ollamaがインストールできたら、実際にAIモデルを動かしてみましょう。

モデルを選ぶ基準

<cite index="16-4">Q4量子化を前提にした目安：RAM/VRAM 8GBで7Bモデル、16GBで13B〜14B、24GB以上で32Bが動かせます。</cite>

2026年時点でのおすすめモデル

モデル名必要VRAM目安得意なこと
llama3.2:3b約2GB軽量・高速。まず試すのに最適
qwen3:8b約5〜6GB日本語も得意。汎用会話・コード
gemma4:e4b約6GBGoogleのモデル。マルチモーダル対応
qwen3:14b約10GB品質と速度のバランス型
deepseek-r1:14b約10GB数学・論理推論が得意

<cite index="2-5">コンシューマー向けハードウェアでの総合評価が高いのはQwen 3.6 27B（24GB Q4で動作）です。</cite>ただし最新モデルの情報はollama.com/libraryで随時確認してください。

モデルのダウンロードと実行

# モデルをダウンロードする（初回のみ、数GB〜数十GBのダウンロードが走ります）
ollama pull qwen3:8b

# ダウンロードしたモデルをターミナルで対話的に起動する
ollama run qwen3:8b

>>> プロンプトが表示されたら、そのまま日本語で話しかけられます。終了するには /bye と入力してEnterを押します。

# ダウンロード済みのモデル一覧を確認
ollama list

# 不要なモデルを削除（ディスク容量を解放）
ollama rm qwen3:8b

{entity:ollama}

---

Step 3: Open WebUIでChatGPT風の画面を作る

ターミナルでの操作に慣れない方、または家族や同僚と一緒に使いたい方には Open WebUI が最適です。

Open WebUI とは：Ollamaの上に乗せるブラウザ画面のこと。<cite index="13-4">モデルの切り替え、会話履歴の保存、ドキュメントのアップロード、複数ユーザーアカウントなど、すべてあなたのハードウェア上で動くポリッシュされたブラウザベースのチャット体験を提供します。</cite>

<cite index="8-2">2026年7月時点の最新バージョンはv0.10.2（2026年7月1日リリース）で、GitHubスター数は14.5万を超えています。</cite>

インストール方法（Dockerを使う場合・推奨）

Docker とは：アプリを「箱（コンテナ）」に入れてどんな環境でも動かす仕組み。Docker Desktopをインストール済みであることを前提とします。

<cite index="15-5">以下の1コマンドをターミナルで実行するだけでOpen WebUIが起動します。</cite>

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

実行後、ブラウザで http://localhost:3000 を開くと管理者アカウントの作成画面が表示されます。

インストール方法（Dockerを使わない場合・pip）

Python（3.11推奨）がインストール済みの場合、以下でも起動できます。

# pipでOpen WebUIをインストール
pip install open-webui

# 起動
open-webui serve

ブラウザで http://localhost:8080 を開きます。

Open WebUIでできること（主要機能）

<cite index="12-4">主な機能には、DockerやKubernetesでの簡単セットアップ、OpenAI互換APIとのシームレス統合、セキュリティ強化のための細かな権限とユーザーグループ管理、デバイスを問わないレスポンシブデザイン、MarkdownとLaTeXの完全サポートがあります。</cite>

  • RAG（手持ちのPDFや文書をAIに読ませて質問に答えさせる仕組み）：<cite index="12-3">RAGのための組み込み推論エンジンを搭載しています。</cite>
  • モデルビルダー：<cite index="12-6">ベースのOllamaモデルからカスタムモデルをインターフェース内で直接作成できます。</cite>
  • モバイル対応：<cite index="12-5">Progressive Web App（PWA）によりモバイルデバイスでもオフラインアクセスとネイティブアプリのような体験が可能です。</cite>

{entity:ollama}

---

Step 4: うまく動かないときのトラブルシューティング

Ollamaが起動しない・「connection refused」と出る

Ollamaのサーバープロセスが起動していない可能性があります。

# Ollamaサーバーを手動で起動する
ollama serve

Linuxの場合はサービスの状態を確認します。

sudo systemctl status ollama
# 停止していたら再起動
sudo systemctl restart ollama

モデルが遅すぎる

<cite index="22-35,22-36">VRAMが足りなくてシステムRAMに溢れると速度が激減します。大きいモデルを遅く動かすより、VRAMに収まる小さいモデルを速く動かすほうが実用的です。Qwen 3.5 14Bが60トークン/秒で動く方が、Llama 3.3 70Bが4トークン/秒でしか動かないよりずっと使えます。</cite>

まず ollama list でモデルのサイズを確認し、VRAMの容量と見比べてください。

Open WebUIからOllamaに繋がらない

DockerコンテナからホストPC上のOllamaに接続できないケースです。Dockerの起動コマンドに --add-host=host.docker.internal:host-gateway が含まれているか確認してください。Open WebUIの「設定 → 接続」で接続先URLを http://host.docker.internal:11434 に設定します。

モデルのダウンロードが途中で止まる

再度同じコマンドを実行すると、ダウンロードが途中から再開されます。

ollama pull qwen3:8b

---

よくある質問

Q. GPUがないPCでも動きますか？

<cite index="16-1,16-2">はい、動きます。OllamaはGPU不要で、最低要件はRAM 8GB・空きディスク10GB・AVX2対応64bit CPUです。</cite>ただし<cite index="31-11,31-12,31-13">GPU非搭載の場合でもOllamaは動作しますが、速度は遅くなります。優れた現代的なCPUで小さめのモデルなら7〜12トークン/秒程度です。実験・試用には使えますが、日常的な快適利用には向きません。</cite>

Q. 入力した内容はどこかに送られますか？

<cite index="27-23,27-24">OllamaでのAI推論は完全にあなたのPC上で完結し、入力は外部に送信されません（初回のモデルダウンロード時を除く）。これがローカルLLMの大きな利点です。</cite>会社の機密情報や個人的なデータを安心して扱えます。

Q. ChatGPTやClaude（クラウドのAI）と比べてどうですか？

モデルの品質・応答速度ともに、2026年現在でも最高クラスのクラウドAIには及ばないケースがほとんどです。一方で、プライバシー・コスト・オフライン動作という点ではローカルLLMに圧倒的な優位があります。<cite index="25-43,25-44">推奨スペックとしてVRAM 24GB（RTX 3090/4090）があれば26B〜32Bクラスのモデルが動き、多くのワークフローでAPIコールをローカル推論に置き換えられるようになります。</cite>

Q. Open WebUIは無料ですか？

<cite index="11-15,11-16,11-17,11-18,11-19">Open WebUIは「自分の環境でAIを動かすためのプラットフォーム」として提供されており、ローカル・クラウド問わず任意のモデルに接続でき、Pythonで拡張可能です。</cite>個人利用・セルフホストは無料で利用できます。エンタープライズ向けのプラン（SLA・SSO・監査ログなど）については公式サイトを参照してください。

---

まとめ：今日からできる次のアクション

この記事でやったこと・できるようになったことをまとめます。

  1. ローカルLLMの3大メリット（プライバシー・無料・オフライン）を理解した
  2. 自分のPCスペックに合うモデルのサイズがわかった
  3. Ollamaのインストールとモデルのダウンロードができた
  4. Open WebUIでChatGPT風の画面を構築できた

今すぐできるアクション

今日やること（15分）

  1. ollama.com からOllamaをインストールする
  2. ollama run llama3.2:3b で最も軽いモデルを動かしてみる
  3. 日本語で話しかけて動作確認する

慣れてきたらやること

  • Open WebUIをDockerで起動してブラウザからチャットする
  • 自分のPDFや資料をOpen WebUIのRAG機能で読み込ませる
  • ollama list で複数モデルを試して自分に合うものを見つける

ローカルLLMの世界は進化が速く、<cite index="1-1">Apple Silicon上ではGemma 4がマルチトークン予測（MTP）を活用してコーディングエージェントベンチマークで平均約90%高速化されるなど</cite>、新機能が毎月追加されています。まずは小さいモデルで動かしてみることが一番の近道です。