本文通过系统性文献综述，总结了之前的算法审计研究，并且对未来的研究做了一些战略规划，主要聚焦在算法歧视和错误判断等方面。此外，还对一些公司和组织，例如谷歌和推特以及一些算法审计方法和工具进行了分类和总结，最后提供了成功算法审计的一些共通之处，并讨论了算法审计在全球算法公正问题中的重要性。

Feb, 2021

该研究分析了算法的问题，提出了一种系统的审计框架和分数卡，以解决人工智能决策辅助系统在精确度方面的透明度与公正问题。

Mar, 2022

本文阐述了大规模语言模型(LLMs) 的崛起代表了人工智能(AI) 研究的重大进展，但是其广泛应用也带来了重大的伦理和社会挑战，需要开发新的审计程序来捕捉LLMs的风险。提出了一种三层审计方法，和其优缺点，并最终旨在扩展技术提供商和政策制定者的方法学工具箱来分析和评估LLMs。

Feb, 2023

本文介绍了一个新的大型语言模型审计工具AdaTest ++，并展示了人类和生成模型在协作审计中的互补优势，该工具有效地利用人类的强项，包括模式化、假设形成和测试，帮助鉴定了之前鲜有报道的26种不同类型的失效模式。

Apr, 2023

本文提出并讨论了一种基于价值观的人工智能-人类协作框架，其中AI系统通过提出决策建议来引导人类进行决策，该框架将价值观视作特定决策情境下要实例化的参数。

Jul, 2023

通过将AI辅助决策视为人类决策过程中的“推动”，我们提出了一个计算框架，用于解释不同形式的AI辅助对决策者的影响，并根据真实数据对其进行评估。研究结果显示，该框架在准确预测AI辅助决策中的人类行为方面优于其他基准模型，并提供了不同认知风格的个体受到不同形式AI辅助时的洞见。

Jan, 2024

机器学习系统的采用和部署引发了伦理事件和社会关注，需要有准确的伦理准则来审计这些系统，我们提出了一个基于机器学习生命周期的审计程序，以透明性和问责制为中心，并扩展了欧洲委员会发布的AI-HLEG指南，通过两个真实用例的试点测试，我们讨论了机器学习算法审计的不足之处和未来的发展方向。

May, 2024

现有的审计程序无法解决生成式人工智能系统所带来的治理挑战，本章提出了一种新的审计方法，即通过三层次的审计（技术提供商的治理审计、预训练后但发布之前的模型审计和基于生成式人工智能系统的应用审计）相互补充和促进，来发现和管理生成式人工智能系统所带来的一些道德和社会风险，对于技术提供商和政策制定者从技术、道德和法律角度分析和评估生成式人工智能系统具有重要意义。

Jul, 2024

AI审计是一个快速发展的研究和实践领域。本文综述了AI审计领域的先前工作，指出了三个关键点:历史上已有领域（如财务会计、安全工程和社会科学）中审计的结构和执行方式对现代审计AI系统有所借鉴；政策制定者和技术提供商都对将审计作为AI治理机制感兴趣；AI审计是一个多学科的任务，计算机科学家、工程师、社会科学家、哲学家、法学学者和行业从业者都作出了重要贡献。实现结构化和整体化程序的下一步将是将这些可用（并相互补充的）方法相互关联，审计不仅关注AI系统的设计和使用，还关注其在应用场景中随时间对用户、社会和自然环境的影响。

Jul, 2024

本研究针对聊天机器人和大型语言模型在数据和内容生成中所继承的人类错误与偏见问题，提出了开发基于价值观的审计框架的必要性。通过基础审计模板，我们揭示了GPT 3.5和GPT 4在某些任务中表现出的不一致之处，强调了构建透明共享结果和制定缓解策略的重要性，以确保这些技术符合社会规范与价值。

Sep, 2024