不缺标记数据了:只需添加语义 —— 一种用于推断在线健康文本的数据高效方法
在大语言模型 (LLMs) 时代,本文调查了语义表征在 LLMs 时代中的作用,并探讨了 Abstract Meaning Representation (AMR) 对五个不同自然语言处理任务的影响。通过提出了一种名为 AMRCoT 的 AMR 驱动的思维链提示方法,我们发现它通常会使性能下降。通过一系列分析实验,我们发现很难预测 AMR 在哪些输入示例上能帮助或妨碍,但错误通常出现在多词表达式、命名实体以及 LLM 在最终推理步骤中必须将其基于 AMR 的推理与预测相连接的地方。因此,我们建议将来关注这些领域的语义表征工作。
May, 2024
通过使用抽象意义表示(AMR)图构建对话中的语言要素和医学实体的图形表示,我们提出了一种模型病人和医疗专业人员之间对话的新框架,其中神经网络结合了文本和图形知识,采用双重注意机制,在医学对话生成方面的实验结果表明,我们的框架优于强基线模型,证明了 AMR 图在增强医学知识和逻辑关系的表示方面的有效性
Sep, 2023
研究表明,通过在神经机器翻译中使用抽象意义表示(AMR)作为额外知识,可以显著改善一种强的基于注意力的序列到序列神经翻译模型在标准英德数据集上的翻译表现。
Feb, 2019
本文研究了利用图形自监督训练来提高 PLMs 模型在 AMR 图结构上的结构意识; 它同时介绍了两种图形自编码策略,四个任务以及一个统一的框架来缩小预训练和微调任务之间的差距。实验结果表明了这种方法在 AMR 分析和 AMR-to-text 生成方面的优越性。
Mar, 2022
本研究提出了一种新方法,使用抽象意义表示(AMR)来改善现有的多语言句子嵌入。研究表明,使用 AMR 可以提高多语言句子嵌入在语义相似性和转移任务上的性能。
Oct, 2022
在本文中,我们提出了一种基于神经网络的命名实体识别方法,它能够同时考虑本地文本信息和通过对大规模语料库进行语义扩充所获得的信息,并且采用注意力机制和门控机制来编码和聚合这些信息,从而在三个从英文和中文社交媒体平台收集的基准数据集上展现出了明显的优越性。
Oct, 2020
使用数百万个未标记的句子和对 AMR 图的精心预处理,我们提出了一种新颖的训练过程,成功地解决了 AMR 中有限的标记数据和非顺序的图表征对序列到序列模型的限制。我们在 AMR 解析和生成任务上取得了竞争性结果,并得到了丰富的分析和证据表明序列基 AMR 模型对图表征的排序变化具有鲁棒性。
Apr, 2017
本研究提出了一种基于语义学的预训练框架,使用抽象含义表示(AMR)来捕捉对话中的核心语义信息,实验证明其在闲聊和任务导向对话的理解上比标准预训练框架更具优势,并且是首次在对话预训练中利用了深层语义表示。
Sep, 2022