Jan, 2019

一般化的分解：对通用、习惯和情节陈述的模型

PDF
TL;DR本文提出了一种新的语义框架，用于建模泛化语言表达，利用该框架构建了一个包含所有通用依赖英语 Web Treebank 的数据集，并使用该数据集来探究预测泛化表达所需的信息以提高模型的效能，包括基于类型和基于令牌的信息、手工特征，以及静态 (GloVe) 和情境性 (ELMo) 单词嵌入等，并在 decomp.io 上提供数据和代码。
semantic frameworklinguistic expressionsgeneralizationuniversal dependenciesword embeddings
发现论文，激发创造
  • 大型语言模型中面向组合通用语义解析的研究综述

    本文对最近在分析、方法和评估方案上的进展进行了综述，为从业者和研究人员在这一领域提供了一个起点。

    Apr, 2024

  • 神经语言模型中的语法推广的系统评估

    我们对神经语言模型的句法知识进行了系统评估，发现模型架构的不同对句法泛化性能产生了显著影响，而不同数据集大小的影响相对较低。

    May, 2020

  • 基于语言模型的组合概括

    通过扩展语义解析的组成概括工作，我们为生成与知识图谱配对的自然语言问题开发了一种方法，以在不受限于语言模型权重隐式编码的信息的同时，对这些模型从知识图谱中学习和概括程度进行控制性评估，我们发现现有的将语言模型与知识图谱组合的方法在未见过长度序列和新组合的基础组件方面存在泛化问题，因此，我们希望我们的工作和发布的数据集能够促进未来研究并探索如何更好地将语言模型与结构化知识表示相结合的方法。

    Jun, 2024

  • GeniL：一个关于语言泛化的多语言数据集

    通过构建多语言数据集 GeniL，我们介绍了检测语言中概括化的新任务，其对多样的上下文进行了可靠区分，从而有助于深入理解刻板印象的永久化，这是实现更包容、负责任的语言技术的关键一步。

    Apr, 2024

  • 语言嵌入有时包含类型学概括

    在 1295 种语言的大规模多语言数据集中训练神经网络模型，以研究神经模型对于语言结构所能学习到的广义化程度，发现神经网络模型在语言结构的广义化方面的表现并不好，并会存在误报，但有些表现仍然与语言学中的传统特征非常接近，为了鼓励在这个领域的持续研究，我们发布了多个资源，包括语言表示的多重集合、多语言单词嵌入、映射和预测的语法和形态特征以及提供语言表征的具有语言学意义的评估软件。

    Jan, 2023

  • 定位文件：通用语法规则和基于结构的超越经典等变性的词汇任务和转换推广

    通过广义文法规则的概念来建立能够在组合中进行泛化的模型的通用框架，这是一种从现代神经网络中区别出人类词汇学习的主要特性之一。

    Feb, 2024

  • 用于情节式知识图谱的嵌入模型

    本文介绍了如何扩展静态知识图谱，使其适用于时间序列数据，以实现近似归纳推理。其中，提出的新型张量模型 ConT 在推理性能上表现出明显优势，同时还讨论了与我们的认知记忆有关的模型投影假设。

    Jun, 2018

  • 语义标记实现组合泛化

    在语义解析中，提出了一个新的解码框架，该框架保留了序列到序列模型的表现力和通用性，同时具有类似词典的对齐和解开信息处理，能够提高模型的组合泛化能力。

    Oct, 2020

  • 数据到文本生成的组合推广

    数据到文本生成涉及将结构化数据转化为连贯的文本描述，本论文提出了一种解决复合概括问题的新模型，通过将谓词聚类成组，在生成文本时逐句依赖于一组谓词，显著优于基线模型 T5 的各种评估指标，尤其在维护对输入的忠实度指标上提升了 31%。

    Dec, 2023

  • 神经机器翻译中的结构泛化评估

    本研究探讨了机器翻译和语义解析中的复合通用性问题，并发现神经机器翻译模型在句法结构的通用性上存在困难，而语义解析和机器翻译具有不同的性能趋势。

    Jun, 2024