Feb, 2024

AI 模型卡片中的记录：对 32K 个 AI 模型卡片进行系统分析

PDF
TL;DR通过对 AI 模型的 32,111 份文档进行全面分析，我们发现 AI 模型的文档化做法存在不足，其中环境影响、限制和评估等方面填写的比例最低，而训练部分则是填写最完整的。此外，我们发现数据的讨论相当重要，有时甚至比模型本身还要强调。通过将详细的模型卡添加到之前没有或只有少量模型卡的 42 个热门模型，我们发现添加模型卡 moderately 相关于周下载量的增加。通过大规模数据科学和语言学分析，我们的研究为分析模型文档化的社区规范和实践打开了新的视角。
发现论文，激发创造
  • 模型报告的模型卡

    本文提出了一个名为 “模型卡” 的框架，以鼓励对训练的机器学习模型进行透明的报告，并为不同应用领域提供基准评估。模型卡旨在推进机器学习和人工智能技术的负责任民主化，提高了解 AI 技术工作情况的透明度。

    Oct, 2018

  • 在 AI 中浏览数据集文档：对 Hugging Face 上数据集卡片的大规模分析

    通过对 Hugging Face 平台上的 7,433 份数据集文档进行分析，本研究提供了 Hugging Face 数据集生态系统的概述和数据集文档实践的见解，得出了 5 个主要发现：（1）数据集卡完成率存在显著的异质性，并与数据集的受欢迎程度相关；（2）对数据集卡中的每个部分进行细致的研究发现，从业者似乎优先考虑数据集描述和数据集结构部分，而使用数据部分的内容比例最低；（3）通过分析每个部分中的子部分，并利用主题建模方法识别关键主题，我们发现了每个部分讨论的内容，并强调了技术和社会影响以及使用数据部分的局限性；（4）我们的研究还强调了在使用部分中提高数据集可访问性和可复现性的需要；（5）此外，我们的人工标注评估强调了全面数据集内容对于塑造个人对数据集卡整体质量看法的重要作用。总体而言，本研究通过大规模数据科学分析提供了对数据集文档的独特视角，并强调了机器学习研究中更加全面的数据集文档需求。

    Jan, 2024

  • 模型和数据卡片的自动生成：迈向负责任的人工智能的一步

    使用大型语言模型（LLMs）提出了一种自动化生成方法，以处理当前人类生成的模型和数据卡中的信息不完整问题，并建立了 CardBench 数据集和 CardGen 流水线，实现了生成模型和数据卡的完整性、客观性和真实性的提升，是负责任的 AI 文档实践中迈出的重要一步，确保更好的可追溯性和问责制。

    May, 2024

  • 互动模型卡片：模型文档的以人为中心的方法

    通过交互模型卡改进用户体验，为不熟悉自然语言处理或机器学习的用户提供深度学习模型文档的设计指南。

    May, 2022

  • 数据卡片：负责任人工智能的有目的和透明的数据集文档

    本文提出了数据卡片 (Data Cards) 的概念以促进人性化的大规模模型开发过程中透明、有目的性和人性化的数据记录方法，数据卡片是必要的用户文档，提供关于机器学习数据各个方面的基本事实的结构化总结。本文描述了将数据卡片落实到实际应用的多种框架，并通过两个案例研究报告了支持领域、组织结构和观众群体的可采用特性，最后总结了 20 个数据卡片的部署经验。

    Apr, 2022

  • 第三方机器学习模型和数据集的文档实践现状

    本研究使用统计分析和混合卡片排序评估了 Hugging Face 模型存储库中模型卡片和数据集卡片的记录实践，发现只有 39.62% 的模型和 28.48% 的数据集有文档记录，同时还观察到 ML 模型和数据集的伦理和透明度相关文档存在不一致性。

    Dec, 2023

  • AI 系统的动态文档

    本文阐述了目前 AI 文档标准的局限性，并提出动态文档作为评估 AI 系统的新范式。通过对比传统环境影响声明框架与目前算法文档标准之间的区别，以及结合模型卡和两个算法影响评估案例的分析，最后评估了动态 AI 文档规范的最新提议。

    Mar, 2023

  • AI Cards：面向机器可读 AI 和风险文档的应用框架，受欧盟 AI 法案启发

    该研究论文通过对 EU AI 法案规定的技术文档的深入分析，以 AI 风险管理为重点，提出了 AI 卡作为一种新颖的综合框架，通过人机可读的格式来表示 AI 系统的预期用途，以实现透明性、可理解性和互操作性，为法律合规性和一致性评估任务提供了自动化工具的开发能力。

    Jun, 2024

  • 揭示模型洞察力：一份用于自动生成模型卡片的数据集

    通过提供 500 个问题 - 答案配对的数据集，我们研究了语言模型生成模型卡片的能力，并发现目前 ChatGPT-3.5、LLaMa 和 Galactica 对研究论文的理解和生成准确的文本回答方面存在显著差距。我们认为这个数据集可以用来训练模型自动从论文中生成模型卡片，减少人工工作量。

    Sep, 2023

  • 为可验证的人工智能提供模型报告：将欧盟法规融入人工智能开发的提案

    在本研究中，我们结合欧洲联盟的最新监管努力和针对 AI 指南的初步提案与研究趋势：数据和模型卡片。我们建议在整个开发过程中使用标准化卡片来记录 AI 应用，主要贡献是引入了用例和操作卡片，并对数据和模型卡片进行了更新，以满足监管要求。我们的卡片引用了最近的研究以及监管规定的来源，并在可能的情况下提供了额外支持材料和工具箱的参考。我们的目标是设计出有助于从业人员在开发过程中开发安全 AI 系统的卡片，同时使得第三方对 AI 应用进行高效审计，易于理解，并在系统中建立信任。我们的工作结合了与认证专家、开发人员和使用开发的 AI 应用的个人的访谈洞察。

    Jul, 2023