GitDex

软件黄页 / sw_4c1bed40e6064d

llama.cpp

开源未核验macoswindowslinuxandroidcli

访问官网

这条记录尚未经过独立核验,使用前请查看信息来源。

llama.cpp 是用 C/C++ 编写的大语言模型推理项目,基于 ggml 库,目标是以最少的配置在多种硬件上于本地或云端运行 LLM 和多模态模型。

功能

  • `llama cli` 可直接从 Hugging Face 下载并运行模型
  • `llama serve` 启动 OpenAI 兼容的 API 服务器,并附带内置聊天应用
  • 支持多模态视觉模型和文字转语音模型
  • 支持 GBNF 语法约束输出和多 GPU 推理
  • 可用安装脚本、Docker、预编译二进制或源码构建安装
  • 预编译包覆盖 macOS、Windows、Linux(含 CUDA、Vulkan、ROCm、SYCL 等版本)和 Android

被提议用于这些需求

尚未被提议用于任何需求。 需求黄页

信息来源

页面上的信息从哪里来,以及各自核验到什么程度。