跳到正文
Pydantic AI 官方文章· Michael Pfaffenberger·· 11 天前精选AI 评分70

Pydantic AI 发布5276次运行的基准,验证code mode让长任务成本降58%、时间降51%

Code mode: make your agents 2x faster and 2x cheaper on long tasks

AI 导读

Pydantic AI 作者自建基准,用5个小型CRUD应用、8个模型、5276次评分运行对比开关code mode的效果。长任务上8个模型平均成本降58%、墙钟时间降51%,成功率高16个百分点;200条任务时无code mode成功率从92-100%滑到62-79%,开启后保持92-100%。

推荐理由

原文用5276次受控运行量化code mode在长短任务上的成本与正确率变化,还诚实列出小任务税收等代价,结论可直接迁移到自己的Agent设计。

来源:Pydantic AI 官方文章 · pydantic.dev