生成式AI审计的蓝图

Jul, 2024

A Blueprint for Auditing Generative AI

Jakob Mokander, Justin Curl, Mihir Kshirsagar

TL;DR现有的审计程序无法解决生成式人工智能系统所带来的治理挑战，本章提出了一种新的审计方法，即通过三层次的审计（技术提供商的治理审计、预训练后但发布之前的模型审计和基于生成式人工智能系统的应用审计）相互补充和促进，来发现和管理生成式人工智能系统所带来的一些道德和社会风险，对于技术提供商和政策制定者从技术、道德和法律角度分析和评估生成式人工智能系统具有重要意义。

Abstract

The widespread use of generative ai systems is coupled with significant ethical and social challenges. As a result, policymakers, academic researchers, and social advocacy groups have all called for such systems to be audited. However, existing →

发现论文，激发创造

大规模语言模型审计：三层方法

本文阐述了大规模语言模型(LLMs) 的崛起代表了人工智能(AI) 研究的重大进展，但是其广泛应用也带来了重大的伦理和社会挑战，需要开发新的审计程序来捕捉LLMs的风险。提出了一种三层审计方法，和其优缺点，并最终旨在扩展技术提供商和政策制定者的方法学工具箱来分析和评估LLMs。

Feb, 2023

支持人工智能与人类合作审计LLM的LLM

本文介绍了一个新的大型语言模型审计工具AdaTest ++，并展示了人类和生成模型在协作审计中的互补优势，该工具有效地利用人类的强项，包括模式化、假设形成和测试，帮助鉴定了之前鲜有报道的26种不同类型的失效模式。

Apr, 2023

可控信任权衡的审计及合成数据生成

本文提出一个审核框架，围绕偏见和歧视预防、与真实数据的一致性、效用、鲁棒性和隐私保护进行综合评估，并引入信任指数对多个合成数据集进行排名，通过审核和认证报告连接不同利益相关者。

Apr, 2023

双重治理：中央监管与众包安全机制在生成式人工智能中的交叉

通过实施Dual Governance框架，我们认为可以促进创新和创造力，同时确保生成AI的安全和道德部署。

Aug, 2023

生成型AI系统的社会技术安全评估

生成型人工智能系统的安全评估需要考虑风险，本文提出了一个三层框架来评估这些风险，结合体系安全原则并考虑人类互动和系统影响作为额外的评估层，同时分析现有的安全评估存在的几个问题并提出解决办法，以此实现生成型人工智能系统的全面安全评估。

Oct, 2023

推进AI审计以加强AI治理

人工智能服务和系统的审计问题及其促进良好人工智能治理的三项建议。

Nov, 2023

构建科学研究中生成型人工智能的道德准则

发展分析和缓解策略，提供了一个初始框架来理解模型限制、尊重隐私、保密和版权、避免抄袭和政策违规、确保应用程序提供整体利益，并透明可重现地使用人工智能，以保护研究的完整性。

Jan, 2024

生成式人工智能伦理的映射：一项全面的范围审查

通过分析378个伦理问题的19个主题领域，本研究综述了生成人工智能伦理问题的分类和排名，主要关注大型语言模型和图像生成模型，为学者、从业人员和政策制定者提供了关于公平性、安全性、有害内容、幻觉、隐私、交互风险、安全性、社会影响等伦理争论的全面概述，并讨论了结果、评估了文献中的不平衡现象，并探讨了未经证实的风险场景。

Feb, 2024

人工智能审计标准委员会的必要性

建立AI审计标准委员会以开发和更新与AI技术发展相适应的审计方法和标准，以确保审核实践保持相关、健壮并能对AI的快速进展做出响应，此举有助于维护公众对AI的信任，促进AI行业的安全和伦理责任文化的发展。

Apr, 2024

AI审计：法律、伦理与技术方法

AI审计是一个快速发展的研究和实践领域。本文综述了AI审计领域的先前工作，指出了三个关键点:历史上已有领域（如财务会计、安全工程和社会科学）中审计的结构和执行方式对现代审计AI系统有所借鉴；政策制定者和技术提供商都对将审计作为AI治理机制感兴趣；AI审计是一个多学科的任务，计算机科学家、工程师、社会科学家、哲学家、法学学者和行业从业者都作出了重要贡献。实现结构化和整体化程序的下一步将是将这些可用（并相互补充的）方法相互关联，审计不仅关注AI系统的设计和使用，还关注其在应用场景中随时间对用户、社会和自然环境的影响。

Jul, 2024