跨领域可传递的神经连贯性模型
本研究提出了一种无域限制的神经模型,可用于度量多个方面的连贯性,并能在生成新语句时保持连贯性,该模型包括区分性模型和生成性模型,以及一种新的基于神经潜变量马尔科夫生成模型,可捕获文本中句子之间的隐含连贯性依赖关系,并在多个连贯性评估方面取得了最先进的表现,为处理语篇上下文生成连贯性文本迈出了一步。
Jun, 2016
本研究提出一种层次神经网络模型,通过多任务学习,同时预测文档层次的信息连贯得分和词级别的语法角色,利用两个任务之间的归纳转移,提高模型泛化能力,并在不同任务中达到了新的最优表现。
Jul, 2019
本文提出了一种新的神经语言模型,它具备两个神经鉴别器,可以在句子层面(内聚性)和段落层面(连贯性)提供反馈信号,并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明,相对于基线(基于双向 MLE 训练的复发关注神经语言模型),我们的方法有效改善了模型表现。
Nov, 2018
该论文利用与计算模型相关的连贯性关系研究了图像字幕生成的信息需求和目标,通过特定的协议,获取 10,000 个图像与字幕的连贯性关系,将其用于学习推理的新任务,得到的结果显示,通过连贯性关系提高了生成的字幕的一致性和质量。
May, 2020
该论文提出了一种正式和计算的口头表达的一致性的设置和评估方法,该方法通过联合训练多种任务的模型,在评估一致性的各个任务上表现出更好的性能,为大规模自动评估一致性提供了坚实的基础。
Oct, 2023
本文通过设计一系列测试集来评估神经语言模型是否编码了逻辑关系、内在一致性和世界知识这些与上下文有关的复杂语言结构,研究发现通过这样的测试集,可以更好的评估语言模型的质量。
May, 2021
本文研究利用基本的神经模型架构,结合对比学习中的负采样和硬负采样策略以及大规模全局负采样队列的增强效应,在任务独立测试集上进行一致性模型的评估和下游任务的改进。结果表明,增加负样本密度和使用全局负采样队列结合硬负采样可以显著地提高模型的性能表现。
Oct, 2021
我们提出了一个一致性评分模型,它由两个特征提取器组成:本地一致性判别模型和标点修正模型。使用梯度提升回归树作为回归模型,并对输入特征施加单调性约束,结果表明我们的模型在未见数据上具有更好的泛化能力。该模型在 NLPCC 2023 的 7 号共享任务的第一项中获得第三名,此外,我们还对剩余的项提出了解决方案,在第二项中获得第二名,在第三项和第四项中获得第一名。
Jul, 2023