MLC LLM
MLC（Machine Learning Compilation）LLM 是一个在各种设备上本地运行大语言模型的项目，支持 CPU、GPU、移动端、 Web 端。
支持平台
- iOS / iPadOS：iPhone/iPad 原生运行
- Android：移动设备
- Web：浏览器内运行（WebGPU）
- Windows / Linux / macOS：桌面端
技术特点
- 无需服务器，纯本地推理
- 支持多种模型：LLaMA、Mistral 等
- 量化支持（INT4 等）
相关项目
- llama.cpp — 类似方向
- vllm — 服务端高吞吐推理
- llm-inference — 推理优化总览