软件黄页 / sw_4c1bed40e6064d
llama.cpp
这条记录尚未经过独立核验,使用前请查看信息来源。
llama.cpp 是用 C/C++ 编写的大语言模型推理项目,基于 ggml 库,目标是以最少的配置在多种硬件上于本地或云端运行 LLM 和多模态模型。
功能
- `llama cli` 可直接从 Hugging Face 下载并运行模型
- `llama serve` 启动 OpenAI 兼容的 API 服务器,并附带内置聊天应用
- 支持多模态视觉模型和文字转语音模型
- 支持 GBNF 语法约束输出和多 GPU 推理
- 可用安装脚本、Docker、预编译二进制或源码构建安装
- 预编译包覆盖 macOS、Windows、Linux(含 CUDA、Vulkan、ROCm、SYCL 等版本)和 Android
被提议用于这些需求
尚未被提议用于任何需求。 需求黄页
信息来源
页面上的信息从哪里来,以及各自核验到什么程度。
- 文档可查Purpose, install options, CLI and server commands, documented tools and the MIT license as stated in the README.github.com/ggml-org/llama.cpp
- 文档可查Release builds include macOS, Windows, Linux (CUDA, Vulkan, ROCm, SYCL) and Android binaries.github.com/ggml-org/llama.cpp