LLM from Scratch

从零实现大语言模型的学习路径。Andrej Karpathy 的 nanogpt 项目是经典教程。

经典教程

karpathy/nanogpt

Karpathy 简洁实现的 GPT 训练代码，是学习 LLM 核心机制的必读项目。

项目特点

• 纯 Python + PyTorch
• 约 300 行核心代码
• 可运行、可实验

学习路径

1. nanogpt — 最小可用 GPT 实现
2. llm-from-scratch — 理论+代码
3. nanoGPT — 更简化的版本
4. llama — 阅读真实模型架构

实践方向

• 用自己的数据微调
• 实现注意力机制变体
• 实验新架构

相关

• nanogpt — Karpathy 的实现
• llm-training — 训练技术
• llm-inference — 推理技术