EMNLPOct, 2022

从基础开始建立表示？语言模型中局部组合的实证研究

PDF
TL;DR本文探讨了现代语言模型是否能够学会表示复合短语中的复合性和非复合性，通过预测长语的内部表示来证明了现代语言模型可以预测一个父短语的表示。同时，通过多种分析，揭示了不同类型的语言模型何时产生了复合表示，并探讨了未来建模工作的可能性。
compositionalitylanguage understandinglmspredictive accuracysemantic compositionality
发现论文，激发创造
  • 探索大型语言模型在数学推理中的组合不足

    大型语言模型在数学推理方面研究了系统组合性，通过引入精心设计的逻辑漏洞陷阱构建了一个新的数据集 MathTrap，发现虽然大型语言模型具备所需知识的两个组成部分，但它们不会自发地组合起来处理这些新问题，通过自然语言提示、少示范演示和微调等多种方法可以减轻这种缺陷，但系统的组合性仍然是大型语言模型面临的一个未解决挑战。

    May, 2024

  • LSTMs 自下而上地组合（和学习）

    本研究利用基于门控交互的 LSTM 拆分相依度 DI 度量，探索 LSTM 构成性行为的序列表现层次结构，发现 DI 与语法距离有关；为探索这些构成性表现在训练过程中的归纳偏差，进行了简单的合成数据实验，支持一种关于如何自底向上学习层次结构的假设。

    Oct, 2020

  • 从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

    人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

    May, 2024

  • 从语言模型中归纳语言结构

    该论文研究了从语言模型中以无监督方式生成组成和依赖结构的问题，并通过一系列实验表明了其在语法结构识别方面的可行性和存在的限制。

    Mar, 2024

  • 评估变形金刚中成语的表示和组合

    本文系统地分析了最新预训练 transformer 模型中对词组的表征方式，并使用人类对词组相似度和语义转换的判断来比较单词重叠与组成效应对因素间的影响。结果表明这些模型对词汇内容依赖很强，且未发现有像人类那样的精细组成效应。同时，本文还发现了在不同模型、层次和表征类型之间的词组表征质量的差异，并为使用这些模型的表征提出了相应的建议。

    Oct, 2020

  • 评估表示学习中的组合性

    描述了一种评估向量空间和离散码等机器学习输入表示中组成结构程度的程序，并使用这种程序探索了这种组成结构与学习动态、人类判断、表示相似性和泛化之间的关系。

    Feb, 2019

  • 意义的线性空间：VLM 的组合语言

    本文讨论在预先训练的视觉与语言模型中向量数据嵌入的组合结构，提出一种基于理想词向量的新的合成性表达方法，并探讨其与数学表示理论和去耦合表示概念的联系。作者提供理论和经验证据表明，理想词嵌入提供良好的组合近似和比基于标记的分解更有效的组合表示方法。

    Feb, 2023

  • 视觉语境下的语义组合模型

    本文探讨了视觉图像和语言语义的组合结构问题，并提出了一些方法，如 WinogroundVQA, Syntactic Neural Module Distillation, Causal Tracing for Image Captioning Models,Syntactic MeanPool 和 Cross-modal Attention Congruence Regularization，以提高这种组合结构的能力。

    May, 2023

  • 利用外部知识库和词嵌入进行上下文组合性检测

    本文提出了一种基于 contextual word embedding 以及外部知识库的方法，用于实现多词组的非固定组合性自动检测，该方法在数据集测评中表现良好。

    Mar, 2019

  • 神经语言模型中的蒙塔古语义学和修饰一致性测量

    本研究提出一种新的方法来衡量当今语言模型中形容词修饰现象的组合表现，研究结果表明当代神经语言模型在考虑下文影响时存在显著的差异，并且词类之间存在差异但在组合中无法表现，这引起了当前语言模型是否能够捕捉到真正的语言分布特性的质疑。

    Oct, 2022