EMNLPOct, 2023

通过群体评议和自我投票改进大型语言模型中的民族代表多样性

PDF
TL;DR大型生成语言模型的关键挑战是多样性，本文通过提出度量多样性的评估数据集和指标，并应用集体批判和自我投票等方法，有效提高模型对人群和文化的多样性。
generative large language modelsdiversityrepresentationevaluation datasetsculture diversity
发现论文，激发创造
  • 从大型语言模型中我们能提取多少种不同的观点？基于评判标准的多样性激励！

    调查了大型语言模型（LLMs）在生成多样化观点和理由方面的能力，提出了一种基于标准提示技术来衡量透视多样性的方法，并发现利用句子嵌入和距离度量来衡量语义多样性是不够的。研究结果表明，LLMs 能够根据任务主观性的程度产生多样的观点。

    Nov, 2023

  • 大型语言模型探索多样化设计解决方案的能力

    通过调整参数和不同的提示工程技术，探索大型语言模型在生成多样化设计方案方面的有效性，并通过比较多个参数和提示工程方法的组合，以及使用相同多样性指标与人工设计方案进行比较，结果表明人类生成的解决方案在所有设计主题上始终有更高的多样性评分。

    May, 2024

  • 通过上下文学习提高大型语言模型对常识生成的多样性

    生成常识推理（GCR）需要模型利用常识知识进行推理，同时生成连贯的句子。本论文提出了一种简单的方法来增加大型语言模型（LLMs）生成的多样性，同时保持生成质量。实验结果表明，该方法在生成质量和多样性之间取得了理想的平衡，并且所生成的句子可用于改善现有常识生成器的多样性。

    Apr, 2024

  • 大型语言模型的思维多样性提高推理能力

    通过改变输入提示的多样性，并借助多种演绎方法，我们提出的 DIV-SE 和 IDIV-SE 方法在不改变解码过程的前提下，通过多种推理调用和单次推理调用中的多样提示，在固定生成预算的情况下，在多个推理基准和最新的计划基准上，优于现有基线，并在最有挑战的 4/5 Blocksworld 任务上超过先前报告的最高准确率至少 29.6 个百分点，从而改进了 LLM 推理的准确性 - 成本权衡的帕累托前沿。

    Oct, 2023

  • 人工对齐中的语言模型微调中的数据多样性扩展

    通过控制文本样本数量，本研究发现更多回复但更少提示比大量的提示更能触发语言模型与人类一致，此外，提出了提示多样性的新公式，并使用数据增强进行了实验证明其对不同算法的效果。

    Mar, 2024

  • 利用大型语言模型重新排序以增强推荐的多样性

    用大型语言模型进行多样性重新排序是一个有前途的方法，它能为推荐系统带来多样性而不需要特殊的知识工程。

    Jan, 2024

  • 大型语言模型的机会不平等：透过职位推荐揭示人口偏见

    通过分析工作推荐，揭示大型语言模型中的人口统计偏见。研究发现 LLMs 存在与不同人口统计身份相关的偏见，如 Mexican workers 普遍倾向于低薪工作，女性倾向于秘书角色。这突出了在后续应用中量化 LLMs 偏见的重要性，以了解可能造成的伤害和不公平结果。

    Aug, 2023

  • 與誰對齊？大型語言模型在主觀 NLP 任務中存在性別和種族偏見

    人们对语言的认知取决于个人背景，如性别和种族。本研究利用包含不同人口背景注释的 POPQUORN 数据集，对四种常见的大型语言模型进行一系列实验，以调查它们理解群体差异和对礼貌和冒犯性的预测中的潜在偏见。结果发现，模型的预测更接近来自白人和女性参与者的标签。我们进一步探索了带有目标人口统计标签的提示，证明仅仅包含目标人口统计标签会削弱模型的性能。我们的结果表明，大型语言模型在主观性自然语言处理任务上存在性别和种族偏见，并且仅仅利用人口统计学提示可能无法消除这种影响。

    Nov, 2023

  • 生成式 AI 投票：公平的集体选择对 LLM 偏见和不一致性具有韧性

    通过对超过 50K 个大型语言模型 (GPT 3、GPT 3.5 和 Llama2) 在 81 个现实世界投票选举中的高逼真模拟，我们展示了不同大型语言模型在复杂的偏好选举格式中存在偏见和显著的不一致性，与简单且一致的多数选举相比。公平的投票聚合方法，如均等份额，被证明是双赢的：对人类来说更公平的投票结果与更公平的人工智能代表相结合。这一新颖的潜在关系对于在低投票率和由人工智能代表支持的进步场景中的民主韧性至关重要：通过恢复高度代表性且更为公平的投票结果，可以缓解棄權选民的问题。这些见解为科学家、政策制定者和公民提供了在解释和缓解民主创新中的人工智能风险方面的重要基础。

    May, 2024

  • 评估大型视觉语言模型在多样性人口属性和提示上的公平性

    对大规模视觉 - 语言模型进行可视化公正性实证调查，揭示出现开源和闭源模型在不同指引和人口属性下存在普遍的公正性问题。

    Jun, 2024