Jun, 2024

通过 PDFA 学习分析受限 LLM

PDF
TL;DR定义了一种与在文本生成过程中通过某种方式约束语言模型输出时产生的零下一个符号概率相适应的同余。我们开发了一种算法，以高效地学习与此同余相关的商集，并在分析 LLM 的统计特性的案例研究中对其进行评估。
congruencenull next-symbol probabilitieslanguage modeltext generationstatistical properties
发现论文，激发创造
  • 通过增强的符合预测方法验证大型语言模型的有效性

    我们开发了新的一致推断方法，用于获取大型语言模型 (LLMs) 输出的有效性保证。我们通过过滤控制函数的评估结果来确定出 LLM 响应中满足高概率正确性保证的文本子集。我们的方法解决了现有方法存在的两个问题，首先，所述保证并非条件有效；其次，因为评分函数不完善，过滤步骤可能会删除许多有价值和准确的声明，我们通过两种新的一致方法解决了这两个挑战。

    Jun, 2024

  • 准确引导 LLMs 的快速非侵入式约束生成

    为了确保大型语言模型生成的文本符合预期格式，本论文提出了一种名为 DOMINO 的创新解码算法，能够以完全子词对齐的方式执行约束，同时利用预计算和推测解码来几乎不增加开销，有时甚至实现接近 2 倍的速度优化，从而在很大程度上胜过现有方法。

    Feb, 2024

  • 共形语言建模

    该研究介绍了一种新的适用于生成式语言模型的公差预测方法，它不仅能够精确地预测结果，还具有统计学的可靠性。研究者们通过校准样本输出和严格限制机制来实现这种方法。

    Jun, 2023

  • 概率约束逻辑编程

    本文基于概率约束编程模型，提出了一种基于对数线性概率模型的参数估计和查询概率约束编程模型中最可能的分析方法，并提供了适用于大数据空间的合适的近似方法。

    Nov, 1997

  • LLM 过程：基于自然语言的数值预测分布

    构建能够处理数字数据并根据自然语言文本进行概率预测的回归模型，以整合先前的知识和信念，提高预测性能并给出定量结构。

    May, 2024

  • 矩阵：一种用于 LLMs 的贝叶斯学习模型

    我们介绍了一个贝叶斯学习模型来理解大型语言模型的行为。我们探讨了大语言模型的优化指标，基于对下一个标记的预测，并开发了一个基于此原则的新颖模型。我们构建了一个理想的生成文本模型，通过具有先验信息的多项式过渡概率矩阵表示，并研究了大语言模型如何逼近该矩阵。我们讨论了嵌入和多项式分布之间的映射的连续性，并提出了狄利克雷逼近定理来近似任何先验。此外，我们展示了大型语言模型的文本生成如何符合贝叶斯学习原理，并深入探讨了其在上下文学习中的影响，特别是解释了为什么在更大的模型中，提示被视为要更新的样本。我们的研究结果表明，大型语言模型的行为与贝叶斯学习一致，为它们的功能和潜在应用提供了新的见解。

    Feb, 2024

  • CLLMs：一致性大型语言模型

    通过改进 Jacobi 解码方法，使其能够在单次迭代中准确预测多个令牌，并在任何状态下快速收敛到固定点，从而实现了在生成速度和生成质量上的显著提升。

    Feb, 2024

  • P$^3$LM: 基于概率排列的先知语言建模生成预训练

    本文提出了一种名为 P3LM 的语言模型，通过学习生成排列顺序上的 token 和对应的未来 N 个 token，进一步加强了双向信息建模和长程相关性建模。在四个摘要数据集、两个问题生成数据集、一个对话问题回答数据集和一个对话回复数据集的广泛实验中，证明了 P3LM 在生成式预训练方法上具有最先进的结果。

    Oct, 2022

  • 深度 de Finetti：从大型语言模型中恢复主题分布

    使用大型语言模型，我们发现它们能够生成结构完整且连贯的长文本，表明虽然这些模型是基于下一个词的预测进行训练的，但它们必须表示文档的潜在结构。本文研究了潜在主题结构作为文档结构的互补方面，通过将大型语言模型优化与隐性贝叶斯推断相连接来验证我们的假设。我们通过拉普拉斯诱导的神经概率编码机制与连续下降信息论方法推导出来自大型语言模型的统计学抽象，进而通过推导来自大型语言模型的统计学抽象。

    Dec, 2023

  • 解锁预期文本生成：一种受限方法用于大型语言模型的忠实解码

    通过将文本生成问题形式化为未来约束生成问题，以最小化不良行为并确保指令的忠实执行，本文介绍了利用 LLM 的未来约束满足估计来指导文本生成过程的方法，并通过对关键词受限生成、有害性降低和问答中的事实正确性等三个不同的文本生成任务进行了广泛的实验，证明了该方法的有效性。

    Dec, 2023