近期大型语言模型取得重大突破，显著增强了自然语言处理应用，但这些模型也可能继承和持续传播来自训练数据的偏见。为了解决这个问题，我们介绍了 Bias Evaluations Across Domains (BEADs) 数据集，旨在支持各种自然语言处理任务，包括文本分类、偏见实体识别、偏见量化和良性语言生成。BEADs 使用 AI 驱动的注释结合专家验证来提供可靠的标签，克服了现有数据集的局限性。实证分析表明，BEADs 能够有效检测和减少不同语言模型的偏见，经过 BEADs 微调的较小模型在偏见分类任务中通常优于大型语言模型。然而，这些模型可能仍对特定人群存在偏见。使用我们的良性语言数据对大型语言模型进行微调也能减少偏见并保留模型的知识。我们的发现突出了全面偏见评估的重要性以及针对大型语言模型减少偏见的有针对性微调的潜力。我们将 BEADs 公开提供。

Jun, 2024

通过整合视觉解释力量，本研究提出了一个名为 Visually Grounded Bias Discovery and Mitigation (ViG-Bias) 的简单而高效的技术，并通过全面评估证明其对现有的 DOMINO、FACTS 和 Bias-to-Text 等技术的性能提升，在包括 CelebA、Waterbirds 和 NICO++ 在内的多个具有挑战性的数据集上都取得了成功。

Jul, 2024

该研究针对视觉语言模型中的性别偏见进行了研究，识别出对象幻觉是视觉语言模型中性别偏见的本质。为了缓解性别偏见，提出了一个名为 GAMA 的生成框架，通过生成全面但模糊性别的叙述来防止过早集中在局部图像特征上，并在回答推理阶段通过综合图像、生成的叙述和任务特定的问题提示来重新思考性别属性和答案。实验结果表明，GAMA 具备去偏见和泛化能力。

May, 2024

通过比较标准格式的字幕和最近的生成式字幕增强过程，从 “性别偏见” 和 “幻觉” 两个方面展示了增强字幕存在的性别偏见和幻觉问题，进一步表明这些增强字幕的模型平均增加了 30.9% 的性别偏见和 59.5% 的幻觉，从而警示了使字幕变得更具描述性的趋势。

Jun, 2024

该论文介绍了一个名为 LIDA 的工具，它采用基于大型语言模型和图像生成模型的管道，将可视化生成形式化为一个多阶段生成问题，能够支持数据和目标的语义理解、可视化目标枚举和可视化规范的生成，LIDA 提供了 Python API 和混合用户界面用于交互式图表、信息图表和数据故事生成。

Mar, 2023

在这项研究中，我们提出了一种在没有先验知识的情况下通过关键词的部分出现来识别潜在偏见的框架，并进一步提出了两种去偏方法：(a) 通过指定伪标签将其传递给现有的需要先验知识的去偏方法，以及 (b) 通过文本到图像生成模型进行数据增强，使用获得的偏见关键词作为提示。实验结果表明，尽管简单，我们的框架不仅能在没有先验知识的情况下胜过现有方法，而且甚至可以与假设有先验知识的方法媲美。

Jun, 2024

提出了一个评估框架 GROLLA，用于属性引导的基于场景的语言学习，其中包括三个子任务，以及一个用于评估学习潜在表征质量的新数据集 CompGuessWhat？！。结果显示，现有的模型学到了表达对象属性的表征的能力不足，并且它们没有学会足够稳健的策略和表征，在涉及新的场景或物体的游戏中表现最佳的无影响的准确度为 50.06％。

Jun, 2020

本文提出了一种新的自动训练数据标注范例 —— 亲和编码法，并设计了一种可重复利用的适用于图像数据的亲和函数集合；在五个不同领域的图像标注任务上与现有数据编程系统 Snuba 和新型的少样本学习技术进行了比较，结果显示，该系统精度在 71% 至 98% 之间，端到端表现优于现有系统，在不需要人工标注的情况下，比新型少样本学习技术和 Snuba 系统性能更优，非常接近完全受监督模型的上限。

Mar, 2019

我们引入了一个新的任务，标签指令生成，旨在解决缺少公开可用的标注说明的问题，我们介绍了一个无需模型训练的框架，并使用一个新创建的快速检索系统，利用大型预训练视觉和语言模型，生成数据集类别的多个不同的视觉和文本表示，我们优化后的标注指令集在 5 个折叠中比 NuImages 高出 7.06 mAP，比 COCO 高出 12.9 mAP。

Jun, 2023

本研究介绍了一种基于自然语言描述的图像增广方法（ALIA），通过大规模视觉模型与语言模型的结合，自动生成域名描述，实现对样本数据的增广。该算法有效提高了训练数据的多样性，经过测试在细粒度和复杂分类中表现良好。

May, 2023