Jun, 2024

通过多语言反馈教授跨语言的法律硕士生避免

PDF
TL;DR多语言语言模型（LLMs）中的知识差距导致幻觉，通过在多语言环境中教授 LLMs 不认识的问题的方法可以减轻幻觉效应。本研究提出通过多语言反馈来增强 LLMs 的放弃行为，该方法通过在相关语言中生成多个反馈项，帮助识别不同语言、文化和社群之间的知识差距，并在三个数据集上的黑盒模型、开放书籍模型和常识问答模型中实验表明，这种多语言反馈方法优于其他强有力的基准方法，为低资源语言提供了 9.2% 的性能提升。进一步的分析显示，多语言反馈是一种有效且更公平的放弃策略，可以服务于不同的语言使用者，而文化因素对于语言选择和 LLM 放弃行为有很大的影响，为多语言和多文化可靠性语言建模提供了未来的发展方向。
multilingual llmsknowledge gapshallucinationsllm abstentionmultilingual feedback
发现论文，激发创造
  • 勿妄为，自制自己：通过多个 LLM 协作识别 LLM 知识盲点

    通过合作和竞争的方式，提出了两种新的方法来识别大型语言模型的知识缺口，并在检索增强和多跳推理中帮助识别失败案例和知识缺口。

    Feb, 2024

  • 基于不确定性的 LLMs 弃权改善安全性并减少幻觉

    大语言模型 (LLMs) 缺乏可靠性是其实际部署的一个主要障碍。本研究探讨了在问答领域中，通过不确定性度量的不确定度来弃权的可行性和有效性，并使用具有和不具有人类反馈的强化学习（RLHF）的模型和这些不确定度度量，证明通过适当的不确定度度量进行弃权可以提高 LLMs 的可靠性。

    Apr, 2024

  • 通过符合性放弃减轻 LLM 幻觉

    我们开发了一个原则性的方法，确定一个大型语言模型在一般领域中，何时应该放弃回答而选择回答 “我不知道”，而不是胡言乱语或错误答案。通过使用自洽性作为一种更可靠的模型置信度度量的早期方法的基础上，我们提出使用语言模型本身来自我评估其对于给定查询的每个采样响应之间的相似性。然后，我们进一步利用符合预测技术来开发一种放弃回答的方法，该方法在误报率（错误率）上具有严格的理论保证。在实验中，我们的符合预测放弃方法可可靠地限制了各种闭书、开放领域的生成问答数据集的胡言乱语率，同时与基于对数概率分数量化不确定性的基线相比，在长答案的数据集（时间序列）上保持了一个显著较低的放弃率，同时在短答案的数据集（TriviaQA）上实现了可比较的性能。为了自动评估实验，需要确定两个答案在给定问题下是否等价。遵循标准做法，我们使用一个阈值相似性函数来确定两个响应是否相匹配，并提供了一种根据符合预测进行阈值校准的方法，并在匹配预测的准确性上具有理论保证，这可能具有独立的兴趣。

    Apr, 2024

  • 通过迭代自我反思，LLM 可以学会自我约束

    为了安全部署，大型语言模型（LLMs）必须能够根据知识水平和特定主题的不确定性动态调整其行为。本文介绍了一种自我控制的方法来教导模型在自信的情况下才产生回答，并使用 ReSearch 算法不断改进模型，从而实现知识的有选择性表达。

    May, 2024

  • 科学问答中通过上下文扰动表征 LLM 回避行为

    在这项研究中，我们研究了 LLMs 在提供不充分或不正确的上下文时放弃回答具有环境依赖性的科学问题的能力。通过在四个 QA 数据集上进行实验，我们展示了性能在模型之间、提供的上下文类型之间以及问题类型之间存在巨大的差异。我们的分析还突显了放弃回答表现对 QA 任务准确性的意外影响，表明需要改进 QA 数据集的设计和评估方法，以更有效地评估模型放弃回答的正确性和下游影响。

    Apr, 2024

  • 每种语言都重要：多语言 LLMs 的学习和遗忘

    研究探究了有害信息在多语种大型语言模型中的传播，并评估了各种反学习方法的有效性。我们证明了无论以哪种语言出现，一旦通过训练数据引入虚假信息到这些模型中，它可以在不同语言之间传播，从而损害生成内容的完整性和可靠性。我们的发现揭示了标准反学习技术通常只关注英文数据，无法有效减轻多语种环境中有害内容的传播，并可能无意中在各种语言之间加强有害内容。我们展示了只有同时解决有害数据的英文和原始语言中的有害回应，我们才能有效地消除所有语言的生成。这强调了考虑现代多语种大型语言模型的多语言特性来增强其安全性和可靠性的全面反学习策略的重要性。

    Jun, 2024

  • RLHF 能够说多种语言：解锁面向 LLMs 的多语言偏好优化

    通过对 23 种语言进行详尽的研究，我们的工作在多语言大型语言模型对齐领域取得了新的最优成果，通过引入一种新颖可扩展的方法生成高质量多语言反馈数据以平衡数据覆盖，我们得到了优势训练模型，其在参数类别中击败了当前最先进的多语言大型语言模型，并在广泛使用的模型中取得了 69.5% 或更高的优势胜率，将对齐技术的边界扩展到全球人口的一半所涵盖的 23 种语言。

    Jul, 2024

  • 跨越多语言数学推理中的语言障碍：洞察与观察

    本文首次探索和训练强大的多语种数学推理语言学习模型，通过利用翻译构建了首个多语种数学推理指令数据集 MGSM8KInstruct，提出不同的训练策略，构建了名为 MathOctopus 的强大的多语种数学推理模型，其在少样本情况下表现优于传统开源模型和 ChatGPT。

    Oct, 2023

  • 学会拒绝：通过知识范围限制和拒绝机制提升大型语言模型的可控性和可靠性

    大型语言模型中存在问题的幻觉，通过拒绝机制和知识库来提高模型的可控性和可靠性。

    Nov, 2023

  • 利用具有英语优势的多语言提示，推动低资源语言的 LLMs 民主化

    本文提出了一种无监督提示方法，使用高资源语言的合成样本以在低资源语言上进行多语言总结，并且表明该方法在许多低资源语言上胜过有监督的提示。

    Jun, 2023