Local AI
sglang
高吞吐量的大语言模型和视觉模型服务框架
质量分84
0 Stars
unknown
hard
中文速读
SGLang 是高性能 LLM 服务框架，支持 LLM 和 VLM 的高效推理。提供 RadixAttention 等优化技术。
快速试用
暂未发现稳定的 Demo 或视频入口。
适合
- 需要自部署大模型的团队
- 追求推理性能的场景
不适合
- 只是想调用 API 的用户
- 资源有限的个人开发者
标签
LLM服务推理优化高性能GPU
Local AI
高吞吐量的大语言模型和视觉模型服务框架
SGLang 是高性能 LLM 服务框架，支持 LLM 和 VLM 的高效推理。提供 RadixAttention 等优化技术。
暂未发现稳定的 Demo 或视频入口。