返回搜索GitHub

Local AI

ds4

DeepSeek V4 Flash 专用本地推理引擎

质量分78
0 Stars
unknown
hard

中文速读

由 antirez(Redis 作者)开发的 DeepSeek V4 Flash 专用推理引擎。非通用 GGUF 运行器,专为 DeepSeek V4 Flash 优化,支持 Metal 和 CUDA 图执行。特点:思维模式输出简短且与问题复杂度成正比、100 万 token 上下文窗口、高效 KV 缓存压缩、支持 2-bit 量化(可在 96-128GB 内存 Mac 上运行)。

快速试用

暂未发现稳定的 Demo 或视频入口。

适合

  • 需要本地运行 DeepSeek V4 Flash 的开发者
  • 拥有大内存 Mac(96GB+)的用户
  • 追求极致推理性能的研究者

不适合

  • 需要通用 LLM 推理引擎的用户
  • 内存有限的设备
  • 需要多模型支持的用户

标签

local-aideepseekinference-enginemetalcudaquantization