May, 2023

共形核取样

HTML
PDF
TL;DR本文通过使用conformal prediction方法对$p$参数进行校准来研究top-$p$采样在各种语言上下文环境下是否与其概率意义对齐，结果表明OPT模型存在过度自信，而校准与模型大小存在适度的反比关系。
发现论文，激发创造
  • 本地典型采样

    本文提出了一种信息论分析的方法，可用于生成自然语言，可以更好地解释概率语言生成器的行为，提出了一种名为本地典型采样的过程，并证明该过程在生成摘要和故事时可以提高质量。

    Feb, 2022

  • Epsilon Sampling Rocks: 机器翻译中最小贝叶斯风险解码的抽样策略研究

    本文研究了Minimum Bayes Risk (MBR)解码的不同采样方法对性能的影响，并通过人类评测，证明了基于epsilon采样的MBR解码在四种语言对中显著优于其他采样方法下的MBR解码和beam search解码。

    May, 2023

  • 共形语言建模

    该研究介绍了一种新的适用于生成式语言模型的公差预测方法，它不仅能够精确地预测结果，还具有统计学的可靠性。研究者们通过校准样本输出和严格限制机制来实现这种方法。

    Jun, 2023

  • 关于采样适配器的有效性

    从一个形式的角度看，采样适配器可以被视为精确率和召回率之间的权衡，通过这种转变，语言生成模型能够得到更高质量的文本。

    Jul, 2023

  • 语言模型解码作为直接度量优化

    通过在语言模型中引入优化问题的框架，我们提出了一种新的解码分布，该分布通过序列级能量函数定义多个度量标准来改善与人类文本的语义一致性，实验证明我们的方法在与人类文本的度量标准一致性和人类评估方面优于强基准模型。

    Oct, 2023

  • 解决神经文本退化的疑难案例

    通过理论证明截断采样方法能保证所有抽样的Token具有非零真实概率，同时基于模型中的softmax限制证明某些Token具有非零真实概率，我们开发了一种实验性的截断策略，并通过试验展示了其在低熵开放式文本生成中优于传统基于阈值的方法的性能，这些理论发现和试验结果推动了更具表现力的采样算法以展现大型语言模型的生成能力。

    Oct, 2023

  • 非可交换的最近邻一致性语言生成

    通过利用最近对非交换式依从预测的研究结果，我们提出了一种新的统一预测框架的扩展，名为非交换式依从核心采样，用于基于最近邻的生成。我们的方法可以后处理任意模型，提供具有统计保证的标记级预测集，并且在机器翻译和语言建模实验中展示了令人鼓舞的生成质量结果。通过产生更紧的预测集并实现良好覆盖率，我们从理论上给出了一种更有原则性的具有依从保证的抽样方法。

    Feb, 2024

  • 通过增强的符合预测方法验证大型语言模型的有效性

    我们开发了新的一致推断方法，用于获取大型语言模型 (LLMs) 输出的有效性保证。我们通过过滤控制函数的评估结果来确定出LLM响应中满足高概率正确性保证的文本子集。我们的方法解决了现有方法存在的两个问题，首先，所述保证并非条件有效；其次，因为评分函数不完善，过滤步骤可能会删除许多有价值和准确的声明，我们通过两种新的一致方法解决了这两个挑战。

    Jun, 2024

  • 对齐语言模型中的基本权衡及其与采样适配器的关系

    使用Reinforcement Learning through Human Feedback (RLHF)与probability-quality relationship方法，我们研究了语言模型对文字生成系统的影响，并提出了适应模型选择的采样适配器。

    Jun, 2024

  • ConU: 具有正确性覆盖保证的大型语言模型中的符合不确定性

    通过从预测集构建的置信度条件中整合正确性对齐的不确定性准则，本研究在自然语言生成任务中，将确定性预测转化为严格的理论保证，从而解决了最近大型语言模型中的异构不确定性问题，并利用抽样不确定性测量方法提高了先前最先进的方法。通过在模型的非固定答案分布中校准预测集，实现对6个大型语言模型在4个自由格式的自然语言生成数据集上的正确覆盖率的严格控制，证明了我们的方法在实际开放式自然语言生成应用中提供可靠保证的高效性。

    Jun, 2024