llama.cpp OSS

概要

ローカルLLM実行の土台となる推論エンジン。C/C++実装により、GPUがない普通のPCでもAIモデルを動かせる。

ローカルLLMブームの技術的な出発点となった伝説的プロジェクトです。モデルを圧縮する量子化(GGUF形式)を普及させ、高価なGPUなしでLLMを動かす道を開きました。OllamaやLM Studioの内部でも使われており、直接使うのは上級者ですが、ローカルAIの世界の共通基盤として知る価値があります。

主な機能

• CPUでも動く軽量・高速な推論
• GGUF形式と量子化のデファクト
• OllamaやLM Studioの中身でもある

料金

オープンソースとして無料で利用できます。

※詳細は公式サイトでご確認ください。

こんな人におすすめ

• ローカルLLMの仕組みを深く制御したい人

よくある質問

Q. OllamaがあればLlama.cppは不要?

A. 日常利用はOllamaで十分です。細かなパラメータ制御や最新機能をいち早く使いたい場合に直接触ります。

Q. どのくらいのPCで動きますか?

A. 量子化モデルならメモリ8GBのノートPCでも小型モデルが動きます。