跳到正文
GitHub Org · alibaba· alibaba·· 2025-12-29AI 评分47

阿里云 Tair KVCache:面向 LLM 推理的高性能 KVCache 系统

alibaba/tair-kvcache

AI 导读

阿里云 Tair KVCache 是一套面向 LLM 推理的高性能 KVCache 系统,托管在 GitHub 的 alibaba 组织下。系统包含全局缓存管理组件和推理模拟组件 HiSim 等多个模块。

来源:GitHub Org · alibaba · github.com