ACLMay, 2023

多语言解析与生成的预训练语义模型

PDF
TL;DR本文介绍了基于话语表示结构的多语言预训练语言含义模型，在预训练阶段包括语义表示，并采用交叉语言迁移学习，以进一步提高非英语任务的性能。实验结果显示，该方法在多语言 DRS 解析和 DRS 到文本生成任务上实现了最佳性能。
pre-trained language modelscomputational semanticsdiscourse representation structuresmultilingualcross-lingual transfer learning
发现论文，激发创造
  • MACT: 跨语言模型无关的话语结构解析训练

    通过引入跨语言训练策略，深入分析和改进基于 Discourse Representation Structure（DRS）的语义表示分析模型，在英语、德语、意大利语和荷兰语的标准基准测试中取得了最先进的结果，并为未来的 DRS 分析研究提供了深入的见解。

    Jun, 2024

  • 预训练如何改善基于语篇的翻译？

    本研究探讨了预训练语言模型在捕捉篇章关系上的能力，并通过探究任务验证了不同架构和层数的 PLMs 的表现，得出了对于不同 NMT 任务在何种情况下使用不同层的 PLMs 是最好的决策。

    May, 2023

  • 探索用于解析话语表示结构的神经方法

    提出了一种基于 Neural 的序列到序列的语义解析器，它能够高准确率地产生英语句子的 DRSs，并通过引入 De Bruijn 索引消除变量名以提高解析器性能，以及加入银标注数据来进一步提高性能。

    Oct, 2018

  • 基于预训练语言模型的多语言基于图表的成分句法分析提取

    本研究开发了一种基于图表的方法和有效的 top-K 集成技术，通过应用这种方法到多语言的预训练语言模型中，可以在集成和语言无关的方式下诱导出九种语言的句子的非平凡解析，同时发现了普遍的注意力头，这些头与句法信息的感知是一致的，验证了该方法的鲁棒性。

    Apr, 2020

  • 使用预训练语言模型生成数据集

    本文介绍了一种利用预训练语言模型生成标注文本数据集的方法，从而实现高质量的无监督学习得到的句子嵌入。实验结果表明，这种方法在多个语义文本相似性测试数据上实现了比较好的性能表现。

    Apr, 2021

  • 使用大语言模型引导多语言语义分析器

    使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

    Oct, 2022

  • XSemPLR: 跨语义语言分析和意义表示

    XSemPLR 是一个统一的基准系统，用于跨越 22 种自然语言和 8 种意义形式的跨语言语义分析研究，使用多种变量和模型进行评估，其中编码器 - 解码器模型（如 mT5）显示出最高性能。

    Jun, 2023

  • 无监督上下文感知句子表示预训练在多语言密集检索中的应用

    本文介绍了一种简单有效的单语言预训练任务 —— 对比上下文预测 (contrastive context prediction, CCP)，通过学习建模句子级上下文关系来学习句子表示，从而使句子配对对齐，并使用语言特定的存储器库和非对称批标准化操作来防止模型崩溃和信息泄漏，在不使用双语数据的情况下，在多语言检索任务 Tatoeba 上实现了新的最佳结果，在跨语言查询 - 段落检索任务 XOR Retrieve 和 Mr.TYDI 中，该模型在所有使用双语数据的预训练模型中在零样本和监督设置 (both zero-shot and supervised setting) 中都取得了两个最新成果。

    Jun, 2022

  • GreenPLM: 几乎无成本的跨语言预训练语言模型转换

    本研究提出了一种基于双语词典的能效框架 GreenPLM，将一种语言模型直接翻译到其他语言，以促进 NLP 研究中所有语言使用者的机会均等和减少能源消耗。18 种语言的验证结果表明，该框架相较其他有高成本的启发式算法的性能优越，并且在低计算成本下表现良好。

    Nov, 2022

  • AMR 解析和生成的图形预训练

    本文研究了利用图形自监督训练来提高 PLMs 模型在 AMR 图结构上的结构意识； 它同时介绍了两种图形自编码策略，四个任务以及一个统一的框架来缩小预训练和微调任务之间的差距。实验结果表明了这种方法在 AMR 分析和 AMR-to-text 生成方面的优越性。

    Mar, 2022