GGUF

GGUF（GPT-Generated Unified Format）是一种用于存储和加载大型语言模型的文件格式，由ggerganov开发，旨在替代早期的GGML格式。它支持多种量化级别，可显著减小模型体积并提高推理速度，主要被llama.cpp、LM Studio等本地推理工具采用。GGUF在2023年8月随llama.cpp的更新而推出，成为本地部署量化LLM的主流格式。