软件黄页 / sw_fd4d3cf6ad8c43
vLLM
这条记录尚未经过独立核验,使用前请查看信息来源。
vLLM 是用于大语言模型推理和服务的开源库,注重高吞吐量和显存效率,最初由加州大学伯克利分校 Sky Computing Lab 开发。
功能
- 用 PagedAttention 管理注意力键值缓存,支持连续批处理、分块预填充和前缀缓存
- 支持 FP8、INT8、INT4、GPTQ/AWQ、GGUF 等多种量化格式
- OpenAI 兼容 API 服务器,另支持 Anthropic Messages API 和 gRPC
- 支持张量、流水线、数据、专家和上下文并行的分布式推理
- 支持 Hugging Face 上 200 多种模型架构,包括多模态和嵌入模型
- 支持 NVIDIA、AMD、Intel GPU 和 x86/ARM/PowerPC CPU,另有 TPU 等硬件插件
- 用 uv 或 pip 安装,也可从源码构建
被提议用于这些需求
尚未被提议用于任何需求。 需求黄页
信息来源
页面上的信息从哪里来,以及各自核验到什么程度。
- 文档可查Features, supported hardware and models, installation and origin as stated in the README; the repository license is Apache-2.0.github.com/vllm-project/vllm