在大型语言模型与透明度的讨论中,我们必须考虑不同利益相关者在不同情境下的需求,并构建在人们处理、交互和使用信息方面所了解的经验基础上的透明度方法,这是一篇关于应对 LLM 这个新时代带来的人工智能透明度挑战的文章.
Jun, 2023
通过对过去十年应用机器学习技术于教育方面文章的定性调查,探讨了这些文献陈述的教育和社会目标与其解决的机器学习问题之间的对齐程度,发现存在跨学科差距,提出了扩展的机器学习生命周期来填补这个差距。
Sep, 2022
本文介绍了一个专门针对端到端机器学习生命周期的版本管理系统 VeML,其中通过核心集算法来解决大规模高维度数据的生命周期构建高成本的问题,同时也能检测训练数据和测试数据之间的不匹配导致的模型准确度下降,而无需使用标记数据来重新构建生命周期。作者在真实的大规模数据集上进行了实验并显示了良好的结果。
Apr, 2023
通过严格的数据集开发透明度框架,从软件开发生命周期中提取最佳实践,以决策和问责支持来关闭人工智能系统中的问责差距。
Oct, 2020
本文介绍了一个可访问、策划和开发的公共基准资源,用于促进不同机器学习方法的优缺点的识别。我们比较了这一资源中当前一组基准数据集的元特征,以表征可用数据的多样性。最后,我们应用了一些已经建立的机器学习方法到整个基准套件,并分析数据集和算法在性能方面是如何聚类的。该工作是了解流行基准套件的限制并开发将现有的基准标准与未来更多样化和有效标准相连接的资源的重要第一步。
Mar, 2017
该论文提出了一个用于评估机器学习中标签错误的基准环境 AQuA,引入了标签错误检测模型的具体设计选择的设计空间,并希望借助该基准实现客观而严格的机器学习工具评估。
讨论机器学习模型周期的后续,重要的是在已经部署的模型上进行监控,包括模型的性能和数据监控,使用统计技术检测异常值和数据漂移,提供历史预测的解释,同时使用开源工具来实现这些目标。
Jul, 2020
本文调查了众包数据集标注的伦理考虑,提出了 ML 数据管道各阶段的一系列推荐和考虑因素。
Dec, 2021
本文提出了机器学习治理的概念,并使用身份标识来确保机器学习系统的所有者对于系统的失败负责,从而增强人们对机器学习系统的信任,为未来的工作提供了机会。
Sep, 2021
机器学习系统的采用和部署引发了伦理事件和社会关注,需要有准确的伦理准则来审计这些系统,我们提出了一个基于机器学习生命周期的审计程序,以透明性和问责制为中心,并扩展了欧洲委员会发布的 AI-HLEG 指南,通过两个真实用例的试点测试,我们讨论了机器学习算法审计的不足之处和未来的发展方向。
May, 2024