OpenAI · 失准报告与通报· Melody Guan, Yuxiang Xie, Bowen Baker·· 19 天前AI 评分44
OpenAI 提出 g-mean² 之外的可监控性补充指标
Beyond g-mean²: complementary metrics for monitorability
AI 导读
OpenAI 提出 g-mean² 之外的两个可监控性补充指标。配对匹配指标只在模型共享的实例上作比较,减少因各模型评估实例不同带来的偏差;控制后整合指标模拟监控器门控的拒绝采样,估计坏输出与任意输出的部署频率及重试的影响。对干预型评估还推导出 g-mean² 下界,与原上界并报,显式化因果归因的不确定性。
来源:OpenAI · 失准报告与通报 · alignment.openai.com