该论文提出了一种正式和计算的口头表达的一致性的设置和评估方法,该方法通过联合训练多种任务的模型,在评估一致性的各个任务上表现出更好的性能,为大规模自动评估一致性提供了坚实的基础。
Oct, 2023
我们提出了一个一致性评分模型,它由两个特征提取器组成:本地一致性判别模型和标点修正模型。使用梯度提升回归树作为回归模型,并对输入特征施加单调性约束,结果表明我们的模型在未见数据上具有更好的泛化能力。该模型在 NLPCC 2023 的 7 号共享任务的第一项中获得第三名,此外,我们还对剩余的项提出了解决方案,在第二项中获得第二名,在第三项和第四项中获得第一名。
Jul, 2023
使用 DECOR 作为一个新颖的基准,第一个特别设计用于改善 L2 英语写作的一致性评估数据集,该数据集包括原始不连贯句子及其专家重新写作版本对。
Jun, 2024
通过一种新的预测一致性评估框架来评估大规模预训练语言模型的能力,该框架可以快速、有效地提供对机器预测一致性的见解。
Sep, 2021
本研究提出一种层次神经网络模型,通过多任务学习,同时预测文档层次的信息连贯得分和词级别的语法角色,利用两个任务之间的归纳转移,提高模型泛化能力,并在不同任务中达到了新的最优表现。
Jul, 2019
本文提出了一种新的神经语言模型,它具备两个神经鉴别器,可以在句子层面(内聚性)和段落层面(连贯性)提供反馈信号,并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明,相对于基线(基于双向 MLE 训练的复发关注神经语言模型),我们的方法有效改善了模型表现。
Nov, 2018
本研究探索了一种本地判别神经模型来提高文本的一致性,这样可以实现更广泛的领域泛化,从而显著提高了文章的可读性。
May, 2019
该研究提出了一种新的评估框架 SNaC,以解决长文本摘要中缺乏合适的评估方法的问题,并开发了一种数据标注方法,以收集 6.6k 个句子的故事连贯性注释。此外,研究人员展示了所收集的注释可以训练一个强大的分类器,用于自动定位生成摘要中的连贯性错误,并且可以支持未来对长文档摘要和连贯性评估的更好的建模和纠错。
May, 2022
本论文提出了一种名为 CoCo 的基于连贯性图和对比学习的模型,用于检测低资源情况下的机器生成文本;该方法采用预训练模型和图神经网络将文本表示为连贯性图,并使用改进的对比损失函数应对数据限制挑战,实验结果表明 CoCo 方法优于现有的最先进的方法。
Dec, 2022
本研究提出了一种基于计算话语理论的生成度量,用于评估图像描述生成模型的语义和语用成功,与最近提出的学习指标相比,在人类评分预测方面表现更好。