Pydantic AI 官方文章· Michael Pfaffenberger·· 11 天前精选AI 评分70
Pydantic AI 发布5276次运行的基准,验证code mode让长任务成本降58%、时间降51%
Code mode: make your agents 2x faster and 2x cheaper on long tasks
AI 导读
Pydantic AI 作者自建基准,用5个小型CRUD应用、8个模型、5276次评分运行对比开关code mode的效果。长任务上8个模型平均成本降58%、墙钟时间降51%,成功率高16个百分点;200条任务时无code mode成功率从92-100%滑到62-79%,开启后保持92-100%。
推荐理由
原文用5276次受控运行量化code mode在长短任务上的成本与正确率变化,还诚实列出小任务税收等代价,结论可直接迁移到自己的Agent设计。
来源:Pydantic AI 官方文章 · pydantic.dev