LLMs-from-scratch OSS

概要

LLMs-from-scratchは、AI研究エンジニアのSebastian Raschka（セバスチャン・ラシュカ）博士が執筆した書籍『Build a Large Language Model (From Scratch)』（Manning刊、2024年）に対応する公式OSSコードリポジトリです。ChatGPTのようなLLM（大規模言語モデル）をPyTorchでゼロから実装するための全章分のJupyter Notebookとスクリプトが、GitHubで完全無料公開されています。2026年時点でGitHubスター数は約99,000を超え、LLM学習リソースの中でも世界トップクラスの人気を誇ります。

このリポジトリが注目される最大の理由は、「AIの仕組みをブラックボックスのまま使うのではなく、自分の手で作って理解する」という思想にあります。著名物理学者リチャード・ファインマンの「自分で作れないものは理解していない」という言葉をコンセプトに掲げ、既存のLLMライブラリに頼らずにゼロからコードを書きます。テキスト分類器やチャットボットまで段階的に発展させる構成で、普通のノートPCで動かせるよう設計されており、高価なGPUサーバーがなくても学習を開始できます。

主な機能

• 全7章＋付録の対応Notebookを無料公開

書籍の各章に対応したJupyter Notebookがすべてリポジトリに収録されており、本を読みながらコードを実行することで手を動かしながら学べます。

• ChatGPT相当のモデルをゼロから構築

既存のLLMライブラリを使わず、テキストのトークン化（文章をAIが読める数字の列に変換する処理）からアテンション機構（モデルが文中の重要な単語に「注目」する仕組み）、GPTモデルの全体実装まで自分のコードで再現できます。

• 事前学習済みモデルの重みの読み込みに対応

ゼロから学習するだけでなく、公開済みの大規模モデルの重みを読み込んでファインチューニング（自分のデータに合わせた追加学習）に活用するコードも含まれています。

• テキスト分類・指示応答のファインチューニング

スパムメール判定などのテキスト分類器への応用や、人間の指示に従って回答するチャットボット形式へのファインチューニング手順を一貫して学べます。

• LoRAによる軽量ファインチューニング（付録E）

LoRA（少ない計算資源でモデルの一部だけを効率よく追加学習する技術）の実装コードも付録として収録されており、リソースが限られた環境での応用学習が可能です。

• Llama・Qwen3・Gemma3などの最新モデル実装例も収録（ボーナス資料）

各章のボーナスフォルダには、Llama 3.2・Qwen3・Gemma3・OLMo3などの最新オープンモデルをゼロから実装し事前学習済み重みを読み込むコードも追加公開されています。

• 章末演習問題と170ページの無料PDF問題集

各章に演習問題が用意されており、解答はリポジトリ内に収録。Manning公式サイトからは約30問×章構成の170ページ無料テスト用PDFもダウンロードできます。

料金プラン

※GitHubリポジトリ自体は書籍を購入しなくても閲覧・実行できますが、解説テキストや図解は書籍本体に収録されています。

導入方法

① リポジトリを取得する

ターミナル（コマンド入力画面）で以下を実行します。

git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
cd LLMs-from-scratch

② Python環境を準備する

リポジトリ内の setup/ フォルダに、Python・パッケージのインストール手順やDockerを使った環境構築ガイドが用意されています。まずはそちらを確認してください。

# 必要パッケージのインストール例（詳細はsetup/README.md参照）
pip install -r requirements.txt

③ Jupyter Notebookを起動して第1章から始める

jupyter notebook ch01/01_main-chapter-code/

各章フォルダ（ch01/ 〜 ch07/、appendix-A/ 〜 appendix-E/）にメインのNotebookと演習の解答Notebookが整理されています。第1章から順番に進めることで、LLMの全体像→テキストデータ処理→アテンション機構→GPTモデル実装→学習→ファインチューニングと体系的に学べます。

こんな人におすすめ

• 「ChatGPTの仕組みを本当に理解したい」エンジニア志望の個人開発者

APIで呼び出すだけでなく、AIの中で何が起きているかをコードレベルで把握したい人に最適です。Pythonの中級知識（ループ・関数・クラスが書ける程度）があれば取り組めます。

• 自社サービスや個人プロダクトにAIを組み込みたい開発者

ファインチューニングやLoRAの実装方法を学ぶことで、汎用モデルを自分のデータや用途に特化させるスキルが身につきます。

• 機械学習の基礎は学んだが「LLMだけよくわからない」と感じている人

PyTorchの入門（付録A）からスタートできる構成なので、深層学習の経験が薄くても段階的にキャッチアップできます。

• 研究・学術目的でLLMのアーキテクチャを深掘りしたい人

Llama・Qwen3・Gemma3・OLMo3など最新モデルのゼロ実装コードもボーナス資料として収録されており、論文と照らし合わせながら学べます。

よくある質問

Q. 高性能なGPU（グラフィックカード）がないと動かせませんか？ A. メイン章のコードは普通のノートPCで動くよう設計されており、特別なハードウェアは不要です。GPUがあれば自動的に活用されますが、必須ではありません。

Q. 書籍を購入しないとリポジトリは使えませんか？ A. GitHubリポジトリのコードとNotebookは書籍の購入に関わらず無料で利用できます。ただし、各章の解説文・図解・コンセプト説明は書籍本体に収録されているため、書籍と合わせて使うことでより深く理解できます。

Q. Pythonの経験がほとんどありませんが取り組めますか？ A. 公式の前提条件として「Pythonプログラミングの基礎知識」が挙げられています。ループや関数・クラスといった基本が書ける中級レベルが推奨されており、全くの初心者より少し手前のスキルがあると取り組みやすいでしょう。

Q. 最新のLLM（Llama・Qwen3など）の実装も学べますか？ A. はい。各章のボーナスフォルダには、GPT→Llama 3.2への変換手順や、Qwen3・Gemma3・OLMo3のゼロからの実装コードと事前学習済み重みの読み込みコードが追加公開されています。