Oct, 2024

SimpleStrat：通过分层化提高语言模型生成的多样性

HTML
PDF
TL;DR本研究解决了大型语言模型（LLM）在生成多样化响应时存在的质量下降问题。提出了SimpleStrat方法，通过利用语言模型本身对响应空间进行分层选择，以提高多样性和生成质量。实验结果表明，采用SimpleStrat的模型在召回率上提高了0.05，并且与对比模型相比，Kullback-Leibler散度平均减少了0.36，展示出显著的改进潜力。
发现论文，激发创造
  • 扭结解码：多样的生成器相互引导

    介绍了 Twist 解码这一简单通用的文字生成算法，该方法利用多样的模型来提高性能，在机器翻译和科技论文摘要等场景下表现出色，鼓励学者和实践者共同研究生成模型，寻找互补优势。

    May, 2022

  • 从预训练LLMs中更好地选择样本：以生成问题为例的案例研究

    本文提出了两种基于提示的方法，以选择自然语言生成模型生成的高质量问题，旨在解决多样性提高与模型选择的问题。经过自动化和人工评估，结果表明，与贪婪算法相比，我们的方法能够有效地选择更高质量的问题。

    Sep, 2022

  • 大型语言模型作为属性训练数据生成器：多样性和偏见的故事

    本文研究了使用多样元数据指导训练数据生成方法，证明其在多样性和属性生成方面都比单一指导明显更好，同时降低了查询成本。

    Jun, 2023

  • 通过外部自然问题对知识库进行多样化问题生成

    我们提出了一种新的多样性评估度量，用于评估每个实例的前K个生成问题的多样性，并确保它们与事实相关。同时，我们引入了一个双模型框架，通过两种选择策略将外部自然问题与生成模型相结合，以生成多样化的问题。实验结果表明，我们的方法生成了高度多样化的问题，并改善了问题回答任务的性能。

    Sep, 2023

  • FreshLLMs: 利用搜索引擎增强大型语言模型

    本研究重点研究了大型语言模型在回答当前世界知识测试问题方面生成文本的真实性，提出了FreshQA动态问答基准和FreshPrompt强化性指示方法，通过使用相关和最新信息从搜索引擎检索来提高大型语言模型的性能。

    Oct, 2023

  • 通过群体评议和自我投票改进大型语言模型中的民族代表多样性

    大型生成语言模型的关键挑战是多样性，本文通过提出度量多样性的评估数据集和指标，并应用集体批判和自我投票等方法，有效提高模型对人群和文化的多样性。

    Oct, 2023

  • 语言多样性的好奇衰退：基于合成文本训练语言模型

    研究通过以前辈生成的合成数据对大型语言模型进行训练的后果，重点关注这种训练方法对语言多样性的影响，特别是在逐步迭代的过程中。通过开展递归微调实验，应用一系列针对词汇、句法和语义多样性的新型度量标准，我们的研究发现模型输出的多样性在连续迭代中显著降低。这一趋势强调了在训练大型语言模型时使用前辈生成文本的潜在风险，特别是涉及保留语言丰富性方面。我们的研究突出了需要仔细考虑这种训练方法对大型语言模型的语言能力所产生的长期影响。

    Nov, 2023

  • CaLM：对比大型和小型语言模型以验证基于实体的生成

    引入了一种新的验证框架CaLM，用于装备语言模型生成更可信和可追溯的响应，并通过迭代的反馈机制，提高了模型的性能。

    Jun, 2024

  • 大型语言模型的有效问题回答生成的明确多样性条件

    通过引入明确的多样性条件，我们的工作对问题-答案生成进行了改进，明显提高了在低资源数据集中问题回答任务的性能。

    Jun, 2024

  • 简单分层：通过分层实现语言模型生成的多样性

    本研究解决了大型语言模型生成多样性不足的问题，提出了一种通过模型自身分层的方法，称为SimpleStrat。研究表明，与传统方法相比，该方法在多样性和回答准确性上表现显著提升，证明了在生成不同答案上取得了更好的效果。

    Oct, 2024