vLLM

https://vllm.ai/

企业级的开源的大模型推理框架，与作为个人级的 llama.cpp 相对。