开发者工具 / 自托管应用 / Local AI
OpenLLM
一键部署和扩展开源 LLM 推理服务
质量分81
0 Stars
unknown
medium
中文速读
OpenLLM 是 BentoML 推出的开源 LLM 自托管平台，支持一键部署各类开源模型为生产级 API。内置 OpenAI 兼容接口，可无缝对接现有应用。
快速试用
暂未发现稳定的 Demo 或视频入口。
适合
- 需要自托管LLM服务的团队
- 快速搭建AI应用后端
不适合
- 需要深度模型定制的用户
- 纯本地离线场景
标签
LLM自托管推理服务