Ollama

本地运行大语言模型的工具，一条命令即可运行各种开源 LLM。

特点

• 简单易用：ollama run llama3
• 支持众多模型（LLaMA、Mistral、Qwen 等）
• 本地运行，无需 API
• 跨平台（macOS/Linux/Windows）

游戏开发应用

• 本地 NPC 对话
• 游戏 AI 推理
• 离线场景使用

相关

• llm-inference — 推理总览
• llama.cpp — 类似工具
• localai — 另一个本地推理选项