操纵下，一些 AI 模型是否更难审计？

Feb, 2024

Under manipulations, are some AI models harder to audit?

Augustin Godinot, Gilles Tredan, Erwan Le Merrer, Camilla Penzo, Francois Taïani

TL;DR在现实环境中进行大容量模型的鲁棒审计是一个困难的问题，通过使用 Rademacher 复杂度，研究了最新的无法操纵审计技术对目标模型容量的可操作性，实验证实了大容量模型难以进行鲁棒审计的问题。

Abstract

auditors need robust methods to assess the compliance of web platforms with the law. However, since they hardly ever have access to the al

发现论文，激发创造

研究 ML 模型的审计算法，通过提出确定性算法和实用的随机化算法来评估 ML 模型的人口统计平等，以帮助监管机构应对机器学习的监管挑战，并为 AI 治理奠定更坚实的理论基础。

Jun, 2022

本文研究了 AI 平台的审计问题，提出了平台抓取和 API 联合使用的方法，通过代理检测 API 回答的篡改，从而提高审计可靠性。

May, 2023

本文阐述了大规模语言模型 (LLMs) 的崛起代表了人工智能 (AI) 研究的重大进展，但是其广泛应用也带来了重大的伦理和社会挑战，需要开发新的审计程序来捕捉 LLMs 的风险。提出了一种三层审计方法，和其优缺点，并最终旨在扩展技术提供商和政策制定者的方法学工具箱来分析和评估 LLMs。

Feb, 2023

本文强调了在机器学习中使用公平性、责任性、透明度和伦理 (FATE) 工具的紧迫性，并提供了使用开源工具的动机。

Jun, 2022

本文提出一个审核框架，围绕偏见和歧视预防、与真实数据的一致性、效用、鲁棒性和隐私保护进行综合评估，并引入信任指数对多个合成数据集进行排名，通过审核和认证报告连接不同利益相关者。

Apr, 2023

本文介绍了一个新的大型语言模型审计工具 AdaTest ++，并展示了人类和生成模型在协作审计中的互补优势，该工具有效地利用人类的强项，包括模式化、假设形成和测试，帮助鉴定了之前鲜有报道的 26 种不同类型的失效模式。

Apr, 2023

本研究提出了一种基于统计学建模的评估方法，可以量化敌对攻击导致的危害风险，并演示了该方法的应用结果胜过传统的度量方法。

Jan, 2023

本研究提出了一种名为 ZkAudit 的协议，旨在解决商业激励与算法透明的冲突，允许模型提供者保护模型权重和数据的机密性，同时允许其他方信任地审计模型和数据的属性。通过使用零知识证明，我们证明了可以提供对深度神经网络的可信审计，包括版权审计、审查审计和反事实审计，而几乎不会降低准确性。

Apr, 2024

机器学习系统的采用和部署引发了伦理事件和社会关注，需要有准确的伦理准则来审计这些系统，我们提出了一个基于机器学习生命周期的审计程序，以透明性和问责制为中心，并扩展了欧洲委员会发布的 AI-HLEG 指南，通过两个真实用例的试点测试，我们讨论了机器学习算法审计的不足之处和未来的发展方向。

May, 2024

本研究提出了一种新的稳健性估计器，以避免在透明决策规则下个体的行为可能造成的操纵行为对决策结果的影响并在肯尼亚的一项大型实验中表明，在策略鲁棒方法估计的决策规则的指导下，其表现优于基于标准监督学习方法的规则。

Apr, 2020