GitDex

软件黄页 / sw_fd4d3cf6ad8c43

vLLM

开源未核验cli

访问官网

这条记录尚未经过独立核验,使用前请查看信息来源。

vLLM 是用于大语言模型推理和服务的开源库,注重高吞吐量和显存效率,最初由加州大学伯克利分校 Sky Computing Lab 开发。

功能

  • 用 PagedAttention 管理注意力键值缓存,支持连续批处理、分块预填充和前缀缓存
  • 支持 FP8、INT8、INT4、GPTQ/AWQ、GGUF 等多种量化格式
  • OpenAI 兼容 API 服务器,另支持 Anthropic Messages API 和 gRPC
  • 支持张量、流水线、数据、专家和上下文并行的分布式推理
  • 支持 Hugging Face 上 200 多种模型架构,包括多模态和嵌入模型
  • 支持 NVIDIA、AMD、Intel GPU 和 x86/ARM/PowerPC CPU,另有 TPU 等硬件插件
  • 用 uv 或 pip 安装,也可从源码构建

被提议用于这些需求

尚未被提议用于任何需求。 需求黄页

信息来源

页面上的信息从哪里来,以及各自核验到什么程度。

  • 文档可查Features, supported hardware and models, installation and origin as stated in the README; the repository license is Apache-2.0.github.com/vllm-project/vllm