MarkTechPost· Michal Sutter·· 1 天前AI 评分53
Buoyant 发布开源推理控制平面 Kinference，面向 Kubernetes 与 vLLM
Buoyant Releases Kinference: An Open Source Inference Control Plane for Kubernetes and vLLM
AI 导读
Linkerd 背后的公司 Buoyant 开源了 Kinference，一个运行在 Kubernetes 和 vLLM 之上的推理控制平面，采用 Apache 2.0 许可，当前版本为 v0.1.0-alpha.7，用 Rust 编写。
来源：MarkTechPost · marktechpost.com