跳到正文
5月23日周六
3月3日周二
2月17日周二
  1. Answer.AI 官方研发博客70

    Answer.AI 披露未授权工具调用问题,Claude 等模型可调用未被授予的工具且 API 不拦截

    Answer.AI 的 Piotr Czapla 披露大模型未授权工具调用问题,模型会幻觉出未被授予的工具并发起调用,API 不校验工具名,只要函数存在于运行环境中调用就会真正执行,他在 solveit 中遇到 Claude 4.5 幻觉调用 add_msg 成功写入笔记,并复现于 claude-opus-4-6、Gemini 和 Grok。

    推荐理由:作者用可复现实验说明模型可能调用未被授权的工具且 API 不拦截,做能力隔离的 Agent 系统可以据此检查校验逻辑。

1月9日周五