Together AI Blog·· 4 天前AI 评分53
Together AI 发布 Together Compiler：面向 AI 推理的持续编译系统，TPS 最高提升 2.6x
Together Compiler: Continual Compilation for AI inference
AI 导读
Together AI 发布 Together Compiler（TKCC），称其为首个利用高吞吐 agent 对多样推理工作负载做持续优化的编译循环，目前已在线上服务数万亿 token。
来源：Together AI Blog · together.ai