Jan, 2024

FAIR Enough: 如何为大型语言模型的训练开发和评估符合 FAIR 标准的数据集？

PDF
TL;DR大型语言模型（LLMs）中的进展凸显了道德实践和数据完整性的必要性。我们介绍了一个将 FAIR（可发现、可访问、可互操作、可重用）数据原则嵌入到 LLM 训练中的框架。这种方法标志着向符合 FAIR 标准的实践的转变。我们的框架提出了将 FAIR 数据原则整合到 LLM 训练中的指导方针。这一倡议包括研究人员和开发人员的检查清单。我们还通过一个案例研究展示了其实际应用，重点是在符合 FAIR 原则的数据集中识别和减轻偏见。这项工作是对人工智能伦理和数据科学的重要贡献，倡导在 LLMs 中采用平衡和道德的培训方法。
large language modelsethical practicesdata integrityfair data principlesbias identification
发现论文，激发创造
  • 大型语言模型公平性调研

    大语言模型带来了强大的性能和发展前景，并广泛应用于现实世界。然而，这些模型可能从未经处理的训练数据中捕捉到社会偏见，并将其传播到下游任务。本文全面回顾了关于大语言模型中的公平性的相关研究，介绍了中等规模的模型和大规模的模型分别从内在偏见和外在偏见的角度引入了评估指标和去偏方法，并讨论了公平性发展中的挑战和未来方向。

    Aug, 2023

  • 大型语言模型中的偏见和公平性研究综述

    大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

    Sep, 2023

  • 少样本公平性：揭示 LLM 对公平感知分类的潜力

    利用大型语言模型（LLM）在各种下游应用中进行分类等工作至关重要，通过公平性可以确保包容性，基于种族、性别等因素实现平等代表和促进负责任的人工智能部署。本研究引入了一个框架来概述与各种公平性定义相一致的公平性规定，每个定义均由不同程度的抽象调控。我们通过在流程中将公平规则纳入，并使用 RAG 选择上下文演示来探索上下文学习的配置和过程。通过与不同 LLM 的实验比较，发现 GPT-4 在准确性和公平性方面的结果都优于其他模型。本研究是利用 LLMs 通过上下文学习实现预测任务公平性的早期尝试之一。

    Feb, 2024

  • 借助大型语言模型实现 FAIR 数据空间

    使用语义网技术提升数据空间的可用性，但复杂性对数据空间的采用和成本产生重大挑战，大型语言模型的出现引发了如何支持公平的数据空间采用的问题，本研究通过一个具体示例展示了大型语言模型在数据空间中的潜力，并推导出一个探索这一新兴领域的研究议程。

    Mar, 2024

  • 大型语言模型中的公平性：一个分类调查

    对公平语言模型进行了全面的综述，介绍了现有文献中关于公平语言模型的最新进展，讨论了导致公平语言模型偏见的因素，总结了评估偏见的度量标准和促进公平的现有算法，并提供了用于评估偏见的资源。

    Mar, 2024

  • 公平 LLM 的不可能性

    在 ChatGPT、Gemini 和其他大型语言模型（LLMs）的普适型系统时代，迫切需要公平的人工智能。然而，人工智能与人类交互的复杂性及其社会影响引发了公平标准如何应用的问题。我们回顾了机器学习研究人员用于评估公平性的技术框架，如群体公平性和公平表示，并发现它们在应用于 LLMs 时存在固有的局限性。为了应对这些挑战，我们提出了实现特定应用案例公平性的指南：上下文的重要性，LLMs 开发者的责任以及需求利益相关者在设计和评估过程中的参与。此外，利用 AI 系统的普适能力作为可扩展的 AI 辅助调整方法可能最终可能成为可能，并且甚至是必需的。

    May, 2024

  • AI 的 FAIR：跨学科、跨国际、包容和多样化的社群建设视角

    本文讨论了 FAIR 准则在数据管理、数字资产、人工智能模型等领域的应用和实践，以及一些领先科研人员在其社区实践中推广和采纳 FAIR 准则的构想和经历。

    Sep, 2022

  • 全球数据限制：大型语言模型中的道德与效果挑战

    本文研究了大规模语言模型（LLM）获取高质量训练数据所面临的多方面挑战，包括数据稀缺、偏差以及低质量内容，并通过使用 GPT-4 和 GPT-4o 进行一系列评估，证明这些数据限制对模型性能和伦理对齐的不利影响。我们提出并验证了一些旨在提高数据质量和模型稳健性的缓解策略，包括高级数据过滤技术和伦理数据收集实践。我们的发现强调了开发 LLM 时需要积极考虑数据限制的有效性和伦理影响，以促进创建更可靠和普遍适用的人工智能系统。

    Jun, 2024

  • AI 模型 FAIR 原则在加速高能衍射显微技术中的实际应用

    介绍了一套实用、简单、可衡量的 FAIR 准则，用于 AI 模型的数据管理和保存；展示了一个领域无关的计算框架，其中包含了 Advanced Photon Source、Materials Data Facility、Data and Learning Hub for Science、funcX 和 Argonne Leadership Computing Facility (ALCF) 等元素，以期在 AI 驱动的自主发现方面发挥作用。

    Jul, 2022

  • 自然语言处理和大型语言模型的公平认证

    发展公平认证以确保自然语言处理系统的算法公正性和对少数群体的非歧视性。

    Jan, 2024