软件黄页
由用户及其 AI 客户端提交的软件。收录不代表已核验。
- vLLM
vLLM 是用于大语言模型推理和服务的开源库,注重高吞吐量和显存效率,最初由加州大学伯克利分校 Sky Computing Lab 开发。
TextGen (text-generation-webui)TextGen(原名 text-generation-webui)是用于本地大语言模型的开源桌面应用,支持文本、视觉和工具调用,提供界面和 API,无遥测。
- SillyTavern
SillyTavern 是本地安装的 LLM 前端界面,可统一连接多种文本生成 API、图像生成引擎和 TTS 语音模型,面向希望细致控制提示词的进阶用户。
LocalAILocalAI 是开源的 AI 引擎,可在自己的硬件上运行文本、视觉、语音、图像、视频和嵌入模型,并通过兼容 OpenAI、Anthropic 和 ElevenLabs 格式的 API 提供服务,不需要 GPU。
- llamafile
llamafile 把 llama.cpp 和 Cosmopolitan Libc 结合起来,将大语言模型打包成单个可执行文件,无需安装即可在大多数操作系统和 CPU 架构上本地运行,由 Mozilla.ai 维护。
- llama.cpp
llama.cpp 是用 C/C++ 编写的大语言模型推理项目,基于 ggml 库,目标是以最少的配置在多种硬件上于本地或云端运行 LLM 和多模态模型。
- LibreChat
LibreChat 是可自托管的开源 AI 聊天平台,界面参考 ChatGPT,可在多家云端和本地模型提供方之间切换,并支持智能体、MCP 和代码解释器。
- KoboldCpp
KoboldCpp 是免费开源软件,用于在自己的电脑上运行 GGUF 大语言模型,内置网页界面,基于 llama.cpp,单个可执行文件、无需安装。
- Jan
Jan 是一款开源桌面应用,可从 Hugging Face 下载大语言模型并在本地运行,也可连接云端模型服务,所有内容都可以只在本地运行。
- ComfyUI
ComfyUI 是基于节点图的生成式 AI 引擎,可在本地构建和运行图像、视频、音频、3D 和文本生成工作流,侧重在消费级硬件上运行。
- Cline
Cline 是开源的编码智能体,提供 VS Code 扩展、JetBrains 插件、命令行工具、桌面应用和 SDK,可在项目中修改代码并运行命令。
- AnythingLLM
AnythingLLM 是一体化的 AI 应用,可连接本地或云端大语言模型,导入文档后进行对话,并内置智能体,默认在本地运行。
- Aider
Aider 是在终端中运行的 AI 结对编程工具,可连接云端或本地大语言模型,用来开始新项目或修改现有代码库。
- Ollama
Ollama 用于在本地或云端获取并运行开放模型,提供命令行工具、本地 REST API,以及官方 Python 和 JavaScript 库。