AAAIDec, 2023

BBScore：一种基于布朗桥的评估文本连贯性的度量方法

PDF
TL;DR本文介绍了一种新颖的布朗桥连贯度量指标 (BBScore)，它能够评估文本的连贯性，不仅能在局部上测量文本连贯性，还能在整体上测量文本连贯性，同时避免了端到端模型训练的需要。该指标在与附加的简单分类组件结合时，展示出与最先进技术相当的表现水平，并在标准人工辨别任务中成功区分了由大型语言模型和人类撰写的文档。此外，我们还展示了这种方法在检测不同大型语言模型的撰写风格方面的效果，凸显了它的潜在泛化能力。
text coherenceneural coherence modelingbbscorebrownian bridge theorylarge language models
发现论文，激发创造
  • DiscoScore：使用 BERT 和上下文连贯性评估文本生成

    介绍了一种基于 Centering 理论和 BERT 的参数化的 Discourse 评估度量，DiscoScore，在结构连贯性、事实一致性等方面优于当前流行的评估度量 BARTScore。

    Jan, 2022

  • 自动一致性评估的新型计算和建模基础

    该论文提出了一种正式和计算的口头表达的一致性的设置和评估方法，该方法通过联合训练多种任务的模型，在评估一致性的各个任务上表现出更好的性能，为大规模自动评估一致性提供了坚实的基础。

    Oct, 2023

  • 冰山之尖外：文本分类器的连贯性评估

    通过一种新的预测一致性评估框架来评估大规模预训练语言模型的能力，该框架可以快速、有效地提供对机器预测一致性的见解。

    Sep, 2021

  • 利用实体网格的二分结构进行文档连贯性和检索

    本文提出了三种新的文档连贯度测量指标，应用于文档的双分图以及连贯实体；经过标准测算，其中一项文档连贯度指标实现了最高的准确度，并且这些指标都有效地提高了 IR 的效率，而这些方面是基于关键字的常规排序和垃圾邮件过滤所无法检测到的。

    Aug, 2016

  • 通过 Wasserstein 重心镜头自动文本评估

    提出了基于 Wasserstein 距离和 barycenter 的新框架和指标 BaryScore 来衡量基于深度情境化嵌入（例如 BERT、Roberta、ELMo）的文本生成质量，通过建模深度情境化嵌入的层输出为概率分布或向量嵌入等多种形式，这一框架提供了一种自然的聚合不同输出的方法，并对度量提供了理论依据，针对机器翻译、数据到文本生成和图像字幕等领域进行了数值测评，结果表明 BaryScore 指标在特别是文本摘要方面优于其他基于 BERT 的指标并且表现更为一致。

    Aug, 2021

  • COSMic: 一个针对图像描述的一致性感知生成度量

    本研究提出了一种基于计算话语理论的生成度量，用于评估图像描述生成模型的语义和语用成功，与最近提出的学习指标相比，在人类评分预测方面表现更好。

    Sep, 2021

  • CoheSentia：生成文本中增量与整体一致性评估的新型基准

    自然语言处理中自动生成文本的一致性评估和分析的新基准，旨在发展更可靠的一致性评估方法。

    Oct, 2023

  • 结构度量解锁：引入 PDD，一种用于位置语篇连贯性的自动度量

    提出一种新的，用于量化两篇长篇文章之间的话语分歧的自动度量标准，该指标在代表性领域的三个数据集上进行了广泛的实验，证明与人类的偏好和 GPT-4 的连贯性评估更加一致，并且胜过了现有的评估方法。

    Feb, 2024

  • 开放领域话语连贯性的神经网络模型

    本研究提出了一种无域限制的神经模型，可用于度量多个方面的连贯性，并能在生成新语句时保持连贯性，该模型包括区分性模型和生成性模型，以及一种新的基于神经潜变量马尔科夫生成模型，可捕获文本中句子之间的隐含连贯性依赖关系，并在多个连贯性评估方面取得了最先进的表现，为处理语篇上下文生成连贯性文本迈出了一步。

    Jun, 2016

  • 通过单调约束提高论文连贯性评估的泛化能力

    我们提出了一个一致性评分模型，它由两个特征提取器组成：本地一致性判别模型和标点修正模型。使用梯度提升回归树作为回归模型，并对输入特征施加单调性约束，结果表明我们的模型在未见数据上具有更好的泛化能力。该模型在 NLPCC 2023 的 7 号共享任务的第一项中获得第三名，此外，我们还对剩余的项提出了解决方案，在第二项中获得第二名，在第三项和第四项中获得第一名。

    Jul, 2023