查看“︁Llama.cpp”︁的源代码

https://llama.app/

https://github.com/ggml-org/llama.cpp

llama.cpp 是一个[[开源]]的 [[C 语言|C]]/[[C++]] 项目，旨在在本地硬件上高效运行[[大语言模型]]，最初针对 [[Meta]] 的 [[LLaMA|LLaMA 模型]]设计。主要用途是让用户无需依赖云服务即可在 [[CPU]] 或普通 [[GPU]] 上推理运行模型。核心特点包括使用 [[GGUF|GGUF 格式]]量化模型以降低内存占用，支持多平台（[[Windows]]、[[Linux]]、[[macOS]]、[[Android]]）及多种加速后端（如 BLAS、[[CUDA]]、[[Vulkan]]）。项目于 2023 年 3 月由开发者 Georgi Gerganov 首次发布，后续社区贡献使其支持更多模型架构，成为本地运行开源大模型的重要工具之一。

{{DISPLAYTITLE: llama.cpp}}