添加剂成分的机制
本文探讨了现代语言模型是否能够学会表示复合短语中的复合性和非复合性,通过预测长语的内部表示来证明了现代语言模型可以预测一个父短语的表示。同时,通过多种分析,揭示了不同类型的语言模型何时产生了复合表示,并探讨了未来建模工作的可能性。
Oct, 2022
论文介绍了一种利用多层次信息和分布式信息的新技术,以检测名词短语的组合度,同时采用有监督的方法,并且使用了 Poincaré 嵌入,可以获得显著的效果提升。
Jun, 2019
通过频率加权中心化的方式,本文提出了一种后处理方法来弥补实际词嵌入与加性组合理论假设间的差距,同时给出了一种通过词嵌入完成 OR 和 NOT 操作的方法,并在实验证实了通过本文的后处理方法可以提高 AND 操作的准确度(在 Top-100 准确度上提高了 3.5 倍),同时验证了 OR 和 NOT 操作的可行性。
May, 2021
本文提出了用自动提取的近义例子替代手工注释进行组合模型训练的方法,同时开发了一种上下文感知的短语组成能力评分模型,实验结果表明这些方法可以用于提高机器翻译系统的翻译质量。
Jan, 2018
提出了一种自然语言语义框架,使用向量对词语、短语和句子进行表示,基于理论分析,假设意义由语境决定。该方法可以推广向量加法、分量乘法和张量积等现有方法,并使用 lattice 结构描述语义之间的蕴含关系。
Jan, 2011
该研究提出了一种新颖的概率模型来捕捉单词形成的分析和合成的含义,利用神经网络的向量组合方法,共同学习单词的形态划分和语义语素的分布式向量,提高了单词的分割准确率和语素 F1 指标 3% 至 5%。
Jan, 2017
本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架,旨在促进句子中单词之间的交互,并使用环境中的句法信息来增强向量。研究结果表明,该框架在 MSRPar 任务上取得了具有代表性的结果。
Aug, 2015
本文介绍了一个基于向量组合方法和 DCS 的形式语义模型。实验证明该模型在短语相似性和关系分类方面达到了近乎最新成果的能力,并在句子完成任务方面报告了一个新的最新成果。
Jun, 2016
该文章提出了一种基于数据分布的组合建模通用框架,证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数,可在训练数据上产生新的、格式正确的例子,进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强,在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果,在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。
Jan, 2022