跳到正文
Google AI · DEV 作者专属· Ahmed Jaffar·· 8 小时前AI 评分56

AI 推理的真实成本不是 token 单价,而是每条被采纳输出的成本

The real cost of AI inference is not the token price

AI 导读

作者提出衡量 AI 推理成本的正确单位应是每条被采纳输出的成本,而非每百万 token 的单价,并开源了用于实测的 AI Inference Control Plane 工具包(github.com/AhmedJaffar/AI-Inference-Control-Plane)。

来源:Google AI · DEV 作者专属 · dev.to