Ollama

Ollama 是一个开源框架，用于在本地计算机上运行和管理大型语言模型（LLM）。它封装了模型下载、推理加速和 API 接口，支持用户通过命令行或 REST API 快速部署 LLaMA、Mistral、Gemma 等多种开源模型。核心特点包括一键启动模型、支持 GPU 加速、提供模型热切换与自定义配置。Ollama 于 2023 年 6 月首次发布，早期为 macOS 和 Linux 提供支持，随后逐步扩展至 Windows，并获得了社区广泛关注。