Nov, 2019

使用语篇结构进行机器翻译评价的 DiscoTK

PDF
TL;DR本文提出了新颖的自动度量标准，使用议论结构和卷积核比较自动翻译的议论树和人类参考的议论树，并通过五种转换技术和增强基于修辞结构理论的基础议论树表示的方法，并将其得分结合成一个综合评分。最后，从 ASIYA MT 评估工具包中添加其他指标，并在实际人员评估上权衡组合的权重。在 WMT12 和 WMT13 度量标准共享任务数据集上的实验表明，与这些年参与的最佳系统相比，在部分和系统级别上与人类判断的相关性表现更好。
发现论文，激发创造
  • 通过密集注释的平行语料库以话语为中心评估机器翻译

    本论文提出了一个带有丰富语篇注释的新数据集，并探讨了源语言和目标语言的语篇结构相似性和差异性以及其对机器翻译的挑战和机会，该资源可公开使用以促进未来在文档级机器翻译和其他语言翻译任务的研究。

    May, 2023

  • 神经机器翻译中的语篇现象评估

    研究了利用上下文进行神经机器翻译的模型，并提出了一种多编码器并解码两个句子以实现上下文输出的方法，该方法在指代和连贯性方面表现最佳。

    Nov, 2017

  • DiscoScore：使用 BERT 和上下文连贯性评估文本生成

    介绍了一种基于 Centering 理论和 BERT 的参数化的 Discourse 评估度量，DiscoScore，在结构连贯性、事实一致性等方面优于当前流行的评估度量 BARTScore。

    Jan, 2022

  • 基于预训练和微调语言模型的对话中的话语结构提取

    本文研究基于 Pre-trained Language Models (PLMs) 的注意力矩阵构建对话结构的方法，提出了一种无监督和半监督的方法来定位和利用 PLMs 中的语篇信息，并在 STAC 语料库上获得了令人鼓舞的结果。

    Feb, 2023

  • Disco-Bench: 一种考虑语篇的语言模型评估基准

    该论文提出了一个可以评估处理自然语言时的句子内语篇特征的精细化预训练模型，该模型包含 9 个文献领域的测试集，涵盖了许多超出了跨句子属性的问题。

    Jul, 2023

  • DSTC 11 跟踪器 4：开放域对话系统鲁棒性和多语言自动评估指标综述

    本文提出神经网络和自动评估方法在对话系统中的应用，特别关注 DSTC11 的自动评估度量标准和结果。

    Jun, 2023

  • 针对预训练和微调语言模型的大规模语篇结构理解

    本文针对预训练和微调语言模型中的语篇信息进行了深入分析，提出了一种新颖的推断语篇结构的方法，探讨了 BERT 和 BART 模型中内在语篇理解的精确性，同时评估了生成的结构与多种基准模型的相似性以及它们在模型内部和模型之间的分布。

    Apr, 2022

  • WMT 2023 共享任务关于篇章级文学翻译的研究结果：LLMs 宇宙中的一颗清新之星

    机器翻译中文学作品一直是一个难以解决的问题，在 WMT 2023 中，我们举办了首届篇章级文学翻译共享任务，提供了一部文学作品语料库用于中英文翻译，并制定了行业认可的人工评估标准。通过自动和人工评估，我们分析了 14 个团队的提交系统，并基于人工评估结果进行了官方排名，同时揭示了有关文学和篇章意识机器翻译的一系列有趣发现。

    Nov, 2023

  • 使用树形自编码器进行话语结构的非监督学习

    通过无监督学习的隐式树归纳框架，提出了一种新的策略来生成结构化的文本，例如语法分析、话语分析等，以及更倍覆盖的话语树库，并在多个领域中展示了具有前景的结果。

    Dec, 2020

  • 利用来自情感的远程监督来预测话语结构

    本研究提出了一种新方法，使用情感分类的远程监督来生成丰富数据进行 RST 风格讨论结构预测，该方法结合了一种基于神经网络的多实例学习和一种 CKY-style 树生成算法，结果表明该解析器在跨领域讨论结构预测方面表现出色。

    Oct, 2019