GitHub Org · alibaba· alibaba·· 2025-12-29AI 评分47
阿里云 Tair KVCache:面向 LLM 推理的高性能 KVCache 系统
alibaba/tair-kvcache
AI 导读
阿里云 Tair KVCache 是一套面向 LLM 推理的高性能 KVCache 系统,托管在 GitHub 的 alibaba 组织下。系统包含全局缓存管理组件和推理模拟组件 HiSim 等多个模块。
来源:GitHub Org · alibaba · github.com