ACLApr, 2024

揭开模仿学习的面纱：探索数据虚假对大型语言模型的影响

PDF
TL;DR通过使用合成指令数据重新训练 ChatGPT 和 GPT-4 等领先专有模型，许多最近的研究试图改进开源语言模型的模仿学习。然而，合成数据的固有特性本质上包含有噪声的数据，导致大量低质量数据存在错误响应和有缺陷的推理。本文探讨了噪声程度与其对语言模型的影响之间的相关性，并通过指令调整来实现。我们首先引入了 “可控虚假性”（FACO）数据集，该数据集包含了真实答案及相应推理的对应对，以及用于手动控制数据集虚假比率的虚假对。通过我们的大量实验证明了指令的虚假性与各种基准得分的相关性的多个有趣发现。此外，当 LLM（语言模型）使用虚假指令训练时，它们会学会撒谎和生成虚假不忠实的答案，即使它们知道正确答案的用户请求。此外，我们注意到，一旦语言模型使用受噪声污染的数据集进行训练，恢复其原始性能是可能的，但无法达到完全性能。
open-source language modelsimitation learningsynthetic instruction datanoisy datainstruction tuning
发现论文，激发创造
  • TrueTeacher：利用大型语言模型学习事实一致性评估

    TrueTeacher 通过用 LLM 注释各种模型生成的摘要来生成合成数据的方法，优于现有的合成数据生成方法，并可在多语言情况下通用。

    May, 2023

  • 针对事实性的语言模型微调

    通过利用外部知识库的一致性或大模型的置信度，以及直接优化算法，我们在不需要人工标注的情况下，对语言模型进行微调，明显提高了生成候选项的正确性，并比对准确性进行了目标定向的 RLHF 和解码策略有显著改善。

    Nov, 2023

  • TruthfulQA：衡量模型模仿人类错误的程度

    提出了一种 benchmark 以衡量语言模型在生成答案时是否真实，测试了 GPT-3、GPT-Neo/J、GPT-2 和基于 T5 的模型，发现最好的模型能够在 58％的问题上保持真实，建议使用不同于模仿网页文本的训练目标来进行微调以提高真实性。

    Sep, 2021

  • 揭示缺陷：探索合成数据的不完美和大型语言模型的缓解策略

    合成数据被提出作为解决大型语言模型（LLMs）训练中高质量数据稀缺问题的方法。虽然有研究表明合成数据可以有效提高 LLMs 在下游基准测试中的性能，但分析显示合成数据存在固有缺陷。我们的工作针对广泛存在的问答对（Q-A pairs）合成数据中的这些缺陷，提出了一种基于取消学习技术的方法来减轻这些缺陷。实证结果表明我们的方法在较低成本下能够逆转由于模式过拟合导致的指令遵循问题，且不损害基准测试性能。我们的工作为合成数据的有效使用提供了关键见解，旨在促进更健壮和高效的 LLM 训练。

    Jun, 2024

  • 大型语言模型时代中的事实性挑战

    探索大型语言模型（LLMs）的风险、潜在威胁和可行解决方案，以在生成 AI 时代中揭示准确性的各个方面。

    Oct, 2023

  • 语言模型生成的合成数据的最佳实践和经验教训

    人工智能模型的成功依赖于大规模、多样化、高质量的数据集的可用性，而由于数据稀缺、隐私问题和高成本，获取这些数据集可能具有挑战性。合成数据作为一种有前景的解决方案出现，通过生成模仿真实世界模式的人工数据。本文提供了合成数据研究的概述，并讨论了其应用、挑战和未来方向。我们通过先前研究中的实证证据来展示其有效性，并强调确保其真实性、保真性和无偏性的重要性。我们强调了在使用合成数据构建更强大、包容性和可信赖的语言模型时的责任使用的需求。

    Apr, 2024

  • 大型语言模型中的气候虚假信息去除

    气候变化的误导信息是解决人类面临的最严重威胁之一的关键障碍，本文研究了大型语言模型在气候信息方面的事实准确性。通过使用真假标记的问答数据对语言模型进行微调和评估，比较了开源模型，并评估它们对气候变化问题生成真实回答的能力。我们还研究了故意注入虚假气候信息的模型的可检测性，并发现这种注入可能不会影响模型在其他领域中的回答准确性。此外，我们比较了取消学习算法、微调和检索增强生成（RAG）在事实上对语言模型在气候变化主题上的基础的有效性。我们的评估揭示了取消学习算法对于微妙的概念性主张可能是有效的，尽管之前的研究发现它们在隐私情境下无效。这些见解旨在指导更具事实可靠性的语言模型的发展，并强调了保护语言模型免受误导攻击的额外工作的必要性。

    May, 2024

  • 反事实增强的 SNLI 训练数据不比未增强的数据具有更好的泛化性能

    本研究发现，通过常规众包技术建立的反事实数据增强自然语言阅读理解数据集，不利于训练模型的泛化性和鲁棒性，并且在成本考虑上使用此种方法带来的收益很少。

    Oct, 2020

  • 增强事实性的语言模型用于开放式文本生成

    本研究针对大规模预训练的语言模型，设计测试集和度量标准以提高生成文本的事实准确性，提出了基于主题前缀和句子补全的事实增强训练方法，并提出了更适合提高准确性的采样算法。

    Jun, 2022

  • 2024 年大型语言模型的事实性

    大语言模型（LLMs），尤其是适用于聊天的指导模型，已成为我们日常生活中的一部分，通过在一个地方提供简单的答案，使人们摆脱了从多个来源搜索、提取和整合信息的过程。然而，很多情况下，LLM 的回答是错误的，这限制了它们在实际场景中的适用性。因此，对评估和改进 LLM 的事实准确性的研究近年来引起了很多关注。在这项调查中，我们以批判性的角度分析现有的工作，旨在确定主要的挑战及其关联的原因，指出改进 LLM 的潜在解决方案，分析开放式文本生成的自动事实准确性评估的障碍，并展望未来研究的方向。

    Feb, 2024