基于语义的神经机器翻译:使用 AMR
在大语言模型 (LLMs) 时代,本文调查了语义表征在 LLMs 时代中的作用,并探讨了 Abstract Meaning Representation (AMR) 对五个不同自然语言处理任务的影响。通过提出了一种名为 AMRCoT 的 AMR 驱动的思维链提示方法,我们发现它通常会使性能下降。通过一系列分析实验,我们发现很难预测 AMR 在哪些输入示例上能帮助或妨碍,但错误通常出现在多词表达式、命名实体以及 LLM 在最终推理步骤中必须将其基于 AMR 的推理与预测相连接的地方。因此,我们建议将来关注这些领域的语义表征工作。
May, 2024
本研究提出了一种新方法,使用抽象意义表示(AMR)来改善现有的多语言句子嵌入。研究表明,使用 AMR 可以提高多语言句子嵌入在语义相似性和转移任务上的性能。
Oct, 2022
使用数百万个未标记的句子和对 AMR 图的精心预处理,我们提出了一种新颖的训练过程,成功地解决了 AMR 中有限的标记数据和非顺序的图表征对序列到序列模型的限制。我们在 AMR 解析和生成任务上取得了竞争性结果,并得到了丰富的分析和证据表明序列基 AMR 模型对图表征的排序变化具有鲁棒性。
Apr, 2017
本研究提出了一种基于语义学的预训练框架,使用抽象含义表示(AMR)来捕捉对话中的核心语义信息,实验证明其在闲聊和任务导向对话的理解上比标准预训练框架更具优势,并且是首次在对话预训练中利用了深层语义表示。
Sep, 2022
本文探讨使用抽象意义表示(AMR)作为一种过渡语言,以降低机器翻译中的翻译语现象。结果表明,使用 AMR 可以降低翻译语的影响,与其他两种方法相比,其表现更佳。
Apr, 2023
本文提出了通过 Abstract Meaning Representation (AMR) 结合神经语言生成模型的抽象摘要方案,使用源文档进行指导可以提高抽象摘要的质量,并在 ROUGE-2 测试中表现优异。
Aug, 2018
我们使用字符级翻译的方法对一大语料库中注释有抽象意义表示的句子进行神经语义解析的评估。通过一些简单的预处理和后处理,我们使用序列到序列模型得到了一个基线准确率为 53.1。研究了五种不同的方法来改善这个基线结果,结合这五种技术的结果使获得了一项 AMR 解析的最新进展状态的成果,F 分数为 71.0。
May, 2017
本文概述了 AMR-to-Text 的研究现状和方法,并细分为基于规则,Seq-to-Seq,Graph-to-Seq,Transformer 和 PLM 等五类方法。着重介绍了基于神经网络的方法和 AMR-to-Text 的最新进展,包括 AMR 重构和 Decoder 优化等。此外,本文还介绍了 AMR-to-Text 的基准测试和评价方法,并提供了当前技术和未来研究的展望。
Jun, 2022
该论文提出了一种名为 AmrBerger 的新的语义分析器,它探索了预训练上下文感知的单词嵌入在 AMR 分析中的可用性,并发现这些丰富的词汇特征与额外的概念信息的结合可以提高系统的性能。同时,通过分析,也展现了上下文嵌入的优点和局限,这为进一步深入理解提供了启示。
Jun, 2022