Soham Mehta, Anderson Rogers, Thomas Krendl Gilbert
TL;DR本文阐述了目前 AI 文档标准的局限性，并提出动态文档作为评估 AI 系统的新范式。通过对比传统环境影响声明框架与目前算法文档标准之间的区别，以及结合模型卡和两个算法影响评估案例的分析，最后评估了动态 AI 文档规范的最新提议。
Abstract
ai documentation is a rapidly-growing channel for coordinating the design of
AI technologies with policies for transparency and accessibility. Calls to
standardize and enact documentation of algorithmic harms and
研究评估了人工智能在简化政策分析中的潜力，并识别了当前人工智能方法的优点和限制。研究还通过使用《关于 “人工智能的安全、可靠和可信开发与应用”》这一行政令进行案例研究，对四个商业人工智能系统进行了性能比较。研究发现，Gemini 1.5 Pro 和 Claude 3 Opus 两个人工智能系统在支持政策分析方面表现出了显著的潜力，能够从复杂文件中提取准确可靠的信息，其效率与人类分析师相当，但明显更高。然而，实现可复现性仍然存在挑战，需要进一步的研究和开发。