EMNLPOct, 2022

语言理解任务中语言知识融合的经验重访

PDF
TL;DR在 GLUE 基准测试中，通过使用平凡的图表进行任务处理，可以实现具有竞争力甚至更好的性能，并揭示出增益可能不是明确的语言先验，而是由融合层带来的更多特征交互。因此，我们呼吁注意未来使用平凡的图表作为必要的基线来设计高级知识融合方法。
large-scale language modellinguistic priorssyntactic knowledgesemantic knowledgetrivial graphs
发现论文，激发创造
  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • 基于语言模型的组合概括

    通过扩展语义解析的组成概括工作，我们为生成与知识图谱配对的自然语言问题开发了一种方法，以在不受限于语言模型权重隐式编码的信息的同时，对这些模型从知识图谱中学习和概括程度进行控制性评估，我们发现现有的将语言模型与知识图谱组合的方法在未见过长度序列和新组合的基础组件方面存在泛化问题，因此，我们希望我们的工作和发布的数据集能够促进未来研究并探索如何更好地将语言模型与结构化知识表示相结合的方法。

    Jun, 2024

  • Transformer 语言模型的结构指导

    本论文研究了在不需要大量预训练的情况下，以结构为导向的指导是否能够使 Transformer 语言模型学习更接近人类的系统语言泛化。通过在 BLLIP 数据集上对两种新模型进行实验，研究者发现引入结构性解析的辅助训练能够提高 Transformer 语言模型在句法推理上的泛化能力。

    Jul, 2021

  • 注入语义依存关系的微调

    应用语言模型结构代替任务特定的监督并使用卷积图编码器通过显式引入语义解析提高 NLU 任务的性能。

    Dec, 2020

  • 统一结构推理和语言模型预训练，用于复杂推理

    本文提出通过结构化的推理和语言模型预训练来模拟上下文中的结构化知识，并对复杂理解和知识图谱推理任务进行了实验，表明这种方法可以有效提高语言和知识图谱模式的复杂推理能力。

    Jan, 2023

  • 具有句法信息的异构图变换器问答

    本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

    Apr, 2022

  • 监督句法分析对语言理解是否有益？实证研究

    本文基于上下文中的先前思路是否明确需监督的句法分析才能实现高层语义理解，通过实证研究检验了监督句法分析在语言模型预训练的 Transformer 网络中应用于语义理解的效用，并通过分析该网络在句法分析中前后的表示空间，得出监督句法分析对最终语义理解性能的影响非常有限的结论。

    Aug, 2020

  • 结合预训练语言模型和结构化知识

    本文调查了将结构化知识集成到现有的语言模型中的各种方法，并确定了挑战和可能的机会，发现利用基于适配器的注入仍有机会，并且可能将多种探索过的方法进一步结合成一个系统。

    Jan, 2021

  • 知识图谱通识自监督的实证研究

    本文旨在研究知识抽取技术对于不同规模和架构的语言模型训练的影响以及如何在各种下游 NLP 任务中进行有效的迁移学习。研究发现，在预训练中选取适当的知识可以显著提高语言模型的泛化性能，数据量越大效果越好，而平衡不同方面的抽样策略可以提高编码解码模型的性能。

    May, 2022

  • 通过基于实景的学习掌握语言结构

    本文提出了基于语言结构的机器学习任务，并通过三种方案展示了其潜力和可行性，包括通过视觉基现学习语法结构，通过执行感知方法映射句子到语义结构，并通过跨语言词对齐和子结构投影方法改进零样本跨语言依赖分析的性能。

    Jun, 2024