vLLM 官方博客· the Kinference Team·· 4 天前AI 评分58
Buoyant 发布开源推理控制平面 Kinference，面向 vLLM 与 Kubernetes
Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes
AI 导读
Buoyant 发布开源推理控制平面 Kinference，用 vLLM 执行底层推理，客户端把 OpenAI 或 Anthropic 兼容流量指向其 HTTP 端点即可接入。
来源：vLLM 官方博客 · vllm.ai