Dec, 2023

解锁预期文本生成：一种受限方法用于大型语言模型的忠实解码

PDF
TL;DR通过将文本生成问题形式化为未来约束生成问题，以最小化不良行为并确保指令的忠实执行，本文介绍了利用 LLM 的未来约束满足估计来指导文本生成过程的方法，并通过对关键词受限生成、有害性降低和问答中的事实正确性等三个不同的文本生成任务进行了广泛的实验，证明了该方法的有效性。
large language modelstext generationfuture-constrained generationundesirable behaviorsinstruction fidelity
发现论文，激发创造
  • 大型语言模型的有约束文本生成的综合评估

    通过在大型语言模型中引入详细的约束条件，本研究调查了约束文本生成的问题，并对多个语言模型进行了分类和评估，旨在为未来的约束文本生成提供启示。

    Oct, 2023

  • 生成式大型语言模型是全能文本分析引擎：文本对文本学习是您所需的全部

    通过基于生成型大型语言模型（LLM）的通用文本到文本学习架构和提示调优，解决主要的临床自然语言处理（NLP）任务，并提供了最新的性能。

    Dec, 2023

  • 基于鉴别器引导的 MCTS 解码的受限文本生成

    本文通过指导树遍历过程中使用鉴别器推导所需的限制条件，探讨了如何在解码过程中进一步控制基于 Transformers 的大型语言模型（LM）生成的长文本，从而避免对 LM 进行微调。此方法相对于微调又更易于并且训练代价更小，同时允许更细致、更动态地应用限制条件。在评估了多种搜索和重新排序方案后，表明基于鉴别器引导的 Monte Carlo Tree Search 解码方法可以在两种限制条件和语言（法语和英语）中以最先进的效果，得到多样性鼓励下基于重新排序的其他解码方法相当好的效果。

    Sep, 2021

  • 知识注入引导：基于大型语言模型的临床文本数据生成评估与推进

    通过结合临床领域特定知识图谱和大语言模型，在临床自然语言处理中提出了一种创新、资源高效的方法 ClinGen，通过临床知识提取和上下文信息化的大语言模型指导数据生成，持续提升性能，对生成训练实例的多样性和真实数据分布进行有效调整。

    Nov, 2023

  • 从 Tarzan 到 Tolkien：控制 LLMs 的语言熟练程度用于内容生成

    探讨利用大型语言模型（LLMs）控制文本难度的问题，在不完全精通的终端用户环境中（如语言学习者），通过使用新颖框架评估了几种关键方法的效果，包括少样本提示、监督微调和强化学习（RL），使用 GPT-4 和 LLama2-7B、Mistral-7B 等开源替代品。我们的发现揭示了在使用基于提示的策略时，GPT-4 和开源模型之间存在很大的性能差距。然而，我们展示了如何通过精调和 RL 对齐的谨慎组合来弥合这一差距。我们最佳的模型，CALM（CEFR 对齐语言模型），在仅成本的一小部分下超越了 GPT-4 和其他策略的性能。我们通过小规模的人工研究进一步验证了我们结果的质量。

    Jun, 2024

  • 准确引导 LLMs 的快速非侵入式约束生成

    为了确保大型语言模型生成的文本符合预期格式，本论文提出了一种名为 DOMINO 的创新解码算法，能够以完全子词对齐的方式执行约束，同时利用预计算和推测解码来几乎不增加开销，有时甚至实现接近 2 倍的速度优化，从而在很大程度上胜过现有方法。

    Feb, 2024

  • 通过提示约束限制开放文本生成中大型语言模型的能力

    本文采用基于提示的方法，通过加入约束类型的多样性和可解析性，系统性地分析了开放式生成模型的限制及其失败原因，案例分析了 GPT-3 模型的生成失败，并揭示了未来研究的挑战。

    Feb, 2023

  • 检测 LLM 生成的文本的科学

    该研究对大型语言模型生成文本的检测技术现状及未来方向进行了综述，并提出了发展全面的评估指标和威胁控制方案等必要措施。关注点包括大型语言模型的开源威胁和其所产生的可能的误传信息问题。

    Feb, 2023

  • 2024 年大型语言模型的事实性

    大语言模型（LLMs），尤其是适用于聊天的指导模型，已成为我们日常生活中的一部分，通过在一个地方提供简单的答案，使人们摆脱了从多个来源搜索、提取和整合信息的过程。然而，很多情况下，LLM 的回答是错误的，这限制了它们在实际场景中的适用性。因此，对评估和改进 LLM 的事实准确性的研究近年来引起了很多关注。在这项调查中，我们以批判性的角度分析现有的工作，旨在确定主要的挑战及其关联的原因，指出改进 LLM 的潜在解决方案，分析开放式文本生成的自动事实准确性评估的障碍，并展望未来研究的方向。

    Feb, 2024

  • SpeechGen：利用提示释放语音语言模型的生成力量

    本文介绍了一种名为 SpeechGen 的框架，使用 10M 个可训练参数，探索了提示调整方法来刺激语音语言模型进行各种生成任务，为更高效和有效地生成任务提供了前景。

    Jun, 2023