Sep, 2023

依约束的自回归生成：带有覆盖保证的束搜索

PDF
TL;DR通过引入根据符合性预测的束搜索算法的两个新扩展，我们可以生成带有理论覆盖保证的序列集合。首个方法非常简单且建议动态大小的束搜索结果子集，但与典型的符合性预测过程不同，其可行保证取决于事后校准测量。我们的第二个算法将符合性集预测过程引入解码过程，产生一个适应当前不确定性的可变束宽度。尽管更加复杂，该程序可以实现预先选择的覆盖保证。我们为每种方法提供了边际覆盖保证，并在绘制自然语言处理和化学方面的多个任务的选择中对其进行了实证评估。
beam search algorithmconformal predictionssequencescoverage guaranteesdecoding process
发现论文，激发创造
  • 通过基于物理信息的结构因果模型实现鲁棒的分布偏移下的符合性预测

    通过使用物理信息的结构性因果模型 (PI-SCM) 来减小上界，我们验证了 PI-SCM 在置信水平和测试领域上对交通速度预测任务和多个真实世界数据集上的流行病传播任务的覆盖鲁棒性的提升。

    Mar, 2024

  • ConU: 具有正确性覆盖保证的大型语言模型中的符合不确定性

    通过从预测集构建的置信度条件中整合正确性对齐的不确定性准则，本研究在自然语言生成任务中，将确定性预测转化为严格的理论保证，从而解决了最近大型语言模型中的异构不确定性问题，并利用抽样不确定性测量方法提高了先前最先进的方法。通过在模型的非固定答案分布中校准预测集，实现对 6 个大型语言模型在 4 个自由格式的自然语言生成数据集上的正确覆盖率的严格控制，证明了我们的方法在实际开放式自然语言生成应用中提供可靠保证的高效性。

    Jun, 2024

  • 通过增强的符合预测方法验证大型语言模型的有效性

    我们开发了新的一致推断方法，用于获取大型语言模型 (LLMs) 输出的有效性保证。我们通过过滤控制函数的评估结果来确定出 LLM 响应中满足高概率正确性保证的文本子集。我们的方法解决了现有方法存在的两个问题，首先，所述保证并非条件有效；其次，因为评分函数不完善，过滤步骤可能会删除许多有价值和准确的声明，我们通过两种新的一致方法解决了这两个挑战。

    Jun, 2024

  • 文本补全和词性预测的适应性预测

    本研究提出基于收缩预测算法的文本填充和词性预测算法，并将其应用于自然语言数据处理中。通过在波士顿语料库中进行仿真实验，结论表明该算法能够生成有效的置信区间，并在机器语音转录中有改进应用。

    Nov, 2021

  • 利用扩展准许的级联推断实现高效的符合预测

    该研究提出了一种新颖的 conformal prediction（CP）方法，通过找到一组有前途的预测候选项而不是单个预测，以适合许多开放式分类任务，实现包含正确答案的高概率且适用于自然语言处理和药物发现等多个应用领域，同时实现降低预测集的大小和费用摊销等效果。

    Jul, 2020

  • 增强标签排序校准的适用于每类覆盖的合拢预测

    针对不平衡分类任务的一种新的不确定性量化框架，Rank Calibrated Class-conditional CP (RC3P) 算法，通过降低预测集大小以实现类条件覆盖，对于每个类别都具有有效的覆盖保证。

    Jun, 2024

  • 稳定的共形预测集

    本论文将 CP 技术与经典算法稳定性界限相结合，提出了一种置信区间集合，可用单一模型拟合计算，并证明了该方法能够保证精度，避免了数据分割的需求，成功解决了传统方法无法处理连续未知变量 y_n+1 的瓶颈问题。

    Dec, 2021

  • 如何通过波束搜索提高生成序列标注中的跨度级别置信度估计？

    本文旨在提供一些关于如何估计生成序列标注模型的置信度的实证见解，特别是如何可靠地评估模型对每个标记的预测置信度，我们发现，简单地使用解码器的输出概率并不是实现良好校准置信度估计的最佳方法，而我们提出的通过顶部 - k 预测的统计数据的方法，在六个不同任务的公共数据集上得到了验证。

    Dec, 2022

  • 适应性选组等覆盖的共形分类

    引入了一种符合性推断方法以评估分类中的不确定性，通过生成具有有效覆盖率的预测集，并在自适应选择的特征上进行。这些特征经过精选以反映潜在的模型限制或偏差，有助于在提供有信息的预测的同时，在最敏感的群体中确保平等的覆盖率，从而找到实践上的一个妥协点。我们通过模拟和真实数据集展示了此方法的有效性和准确性。

    May, 2024

  • 共形语言建模

    该研究介绍了一种新的适用于生成式语言模型的公差预测方法，它不仅能够精确地预测结果，还具有统计学的可靠性。研究者们通过校准样本输出和严格限制机制来实现这种方法。

    Jun, 2023