EMNLPNov, 2020

基于字符级表示的语义解析在 BERT 时代仍然有效

PDF
TL;DR本论文提出，在序列到序列模型中，将字符级别和上下文语言模型表示相结合以提高 Discourse Representation Structure 解析的性能，并通过基于语义标签的新方法分析表明，字符级别表示改进了在选定语义现象的全部性能。
发现论文，激发创造
  • 字符级信息是否总是改善基于 DRS 的语义分析？

    研究探讨了采用字符级表示对神经模型性能的影响，通过对英语、德语、荷兰语和意大利语数据集的实验结果发现，字符级信息的引入并不能提高英语和德语语言的性能，但字符级信息可以提高荷兰语和意大利语的性能。

    Jun, 2023

  • 探索用于解析话语表示结构的神经方法

    提出了一种基于 Neural 的序列到序列的语义解析器，它能够高准确率地产生英语句子的 DRSs，并通过引入 De Bruijn 索引消除变量名以提高解析器性能，以及加入银标注数据来进一步提高性能。

    Oct, 2018

  • 使用上下文表示改进话语依存分析

    本研究提出了一种基于 transformers 的新方法，通过对不同级别单元的上下文化表示进行编码，动态捕捉对话依赖分析所需的信息，并将对话关系识别视为序列标记任务

    May, 2022

  • 基于字符级别翻译的神经语义解析：对抽象意义表示的实验

    我们使用字符级翻译的方法对一大语料库中注释有抽象意义表示的句子进行神经语义解析的评估。通过一些简单的预处理和后处理，我们使用序列到序列模型得到了一个基线准确率为 53.1。研究了五种不同的方法来改善这个基线结果，结合这五种技术的结果使获得了一项 AMR 解析的最新进展状态的成果，F 分数为 71.0。

    May, 2017

  • MACT: 跨语言模型无关的话语结构解析训练

    通过引入跨语言训练策略，深入分析和改进基于 Discourse Representation Structure（DRS）的语义表示分析模型，在英语、德语、意大利语和荷兰语的标准基准测试中取得了最先进的结果，并为未来的 DRS 分析研究提供了深入的见解。

    Jun, 2024

  • 深度增强表示法用于隐式语篇关系识别

    本研究探讨了一种模型，利用包括字符，子词，单词，句子和句对级别的不同粒度的文本表示来更好地表示文本，该模型在隐含关系识别中取得了 48% 以上的最新成果。

    Jul, 2018

  • 利用预测编码增强 BERT 模型以提高语篇级别表征

    本文将预测编码理论引入 BERT 风格语言模型，以学习适当的语篇水平表示，实现了通过中间层进行顶部到底部的明显连接预测未来的句子，从而在语篇相关知识的基准测试中提高性能，特别是在语篇关系检测方面。

    Sep, 2021

  • 有效的基于字符增强的词嵌入在机器阅读理解中的应用

    本文提出了一种字符增强的阅读器，结合字和字符嵌入的不同集成策略，用一份短列表来增强字嵌入，从而改善字的表示，特别是罕见的字。实验结果表明，这种方法显著优于各种公共基准测试中的当前最先进方法。

    Aug, 2018

  • 利用上下文嵌入的基于转移的抽象含义表示解析

    该论文提出了一种名为 AmrBerger 的新的语义分析器，它探索了预训练上下文感知的单词嵌入在 AMR 分析中的可用性，并发现这些丰富的词汇特征与额外的概念信息的结合可以提高系统的性能。同时，通过分析，也展现了上下文嵌入的优点和局限，这为进一步深入理解提供了启示。

    Jun, 2022

  • 基于字符级文本嵌入的文本分割

    该研究提出通过训练简单的循环神经网络从原文本字符序列中直接学习文本表示，并将这些文本嵌入用作监督字符级别文本分段和标记任务的特征，以实现比表面字符 n-gram 更好的结果。

    Sep, 2013