EMNLPOct, 2020

评估变形金刚中成语的表示和组合

PDF
TL;DR本文系统地分析了最新预训练 transformer 模型中对词组的表征方式，并使用人类对词组相似度和语义转换的判断来比较单词重叠与组成效应对因素间的影响。结果表明这些模型对词汇内容依赖很强，且未发现有像人类那样的精细组成效应。同时，本文还发现了在不同模型、层次和表征类型之间的词组表征质量的差异，并为使用这些模型的表征提出了相应的建议。
transformer modelsnlpphrase representationlexical effectsmodel variations
发现论文，激发创造
  • Transformer 模型微调和组合之间的相互作用

    研究发现，预训练的转换语言模型在很多 NLP 任务上表现出色；然而，这些模型在短语级别的表示中，除了词汇内容外，缺乏复杂的组合短语信息，进一步的 fine-tuning 只能在情感任务中局部提高性能，而在重新释义任务中则由于数据集中可能存在干扰信号的原因而不能提供改进。

    May, 2021

  • 从基础开始建立表示？语言模型中局部组合的实证研究

    本文探讨了现代语言模型是否能够学会表示复合短语中的复合性和非复合性，通过预测长语的内部表示来证明了现代语言模型可以预测一个父短语的表示。同时，通过多种分析，揭示了不同类型的语言模型何时产生了复合表示，并探讨了未来建模工作的可能性。

    Oct, 2022

  • Transformer 模型解决复合任务

    通过探索 Transformer 模型的设计空间，我们发现一些设计上的决策对该模型的归纳偏差有很大的影响。我们发现这些决策可以显著地提高 Transformer 模型的组合泛化能力，并在各种复合任务中实现了比文献报道的更好的泛化结果，并在语义分析组合泛化基准（COGS）和字符串编辑操作组合基准（PCFG）中实现了最先进的结果。

    Aug, 2021

  • 仍是个烦人的问题：评估文本表示在词组合成中的表现

    本研究通过测试多种文本表示模型的性能，发现与静态词嵌入相比，上下文有关的单词表示模型对于检测含义转移等方面的应对能力更强，但在获取暗含信息方面，其表现仍远远不及人类水平。研究者设计的包含 5 个涉及词汇组合效应的任务的评估套件可用于提高此类表示模型的研究。

    Feb, 2019

  • 复述辅助的组合性模型

    本文提出了用自动提取的近义例子替代手工注释进行组合模型训练的方法，同时开发了一种上下文感知的短语组成能力评分模型，实验结果表明这些方法可以用于提高机器翻译系统的翻译质量。

    Jan, 2018

  • 赋予 Transformer 系统性组合能力的探索

    提出了一种名为 CAT 的具有组合性意识的 Transformer 模型以及两个新的预训练任务，实验结果表明 CAT 在组合性感知任务上优于基线模型，对标准语言理解任务的有效性影响较小。

    Dec, 2023

  • 利用树状投影表征 Transformer 中的固有组合性

    研究表明，当进行语言数据训练时，transformers 是学习一种简单的基于树状结构的计算过程，可以解释像人类语言这样的复合意义系统，这种过程没有必要使用其完整架构的全部容量。通过无监督和无参数的方法，可以在任何 transformer 和树状结构之间建立功能投影，而三项不同的任务实验表明，在一些情况下，可无监督地恢复相同的树状结构，这些树状结构有助于模型的行为改进。

    Nov, 2022

  • 情境化的词义感知：从注意力到组合性

    使用语义组合性建模的透明、可解释和语言学动机策略，模拟词的上下文意义编码，并且与复杂神经结构下的黑盒模型相比，显示其与语言学动机模型在给定语义任务中的竞争力。

    Dec, 2023

  • 深度和宽度对 Transformer 语言模型泛化的影响

    通过对 transformers 进行实验，我们发现深度模型相比较较浅模型能更好地进行组成性泛化，并得出更深的模型在语言建模性能上表现更好的结论。

    Oct, 2023

  • Transformer 能过于组合吗？分析神经机器翻译中的习语处理

    该论文探讨了神经网络机器翻译模型的机制，发现 Transformers 模型在将成语翻译为目标语言时，倾向于将其视为由多个字面意义组成的表达式，导致成语的字面意义被保留。

    May, 2022