EMNLPOct, 2020

从上下文化单词表示中无监督地提取句法信息

PDF
TL;DR本文讲述了如何通过自动生成语义不同但结果相似的句子组集来学习一种转换，以去除词法语义但保留结构信息，并证明这种方法在结构聚类方面的效果优于词汇语义聚类方法，最终在少样本解析任务中优于原始上下文化语言表示。
发现论文，激发创造
  • 探究上下文词向量的句子结构学习

    研究比较四种最近的模型对句子结构的编码情况，发现语言模型和翻译模型训练出的模型对句法现象具有强大的表现，但对语义任务的改进相对较小。

    May, 2019

  • 双向编码器句法结构提取预训练

    本文研究了文本表示学习器在句法表现上的优越性和在自然语言句法中的应用，提出了将句法模型的预测注入 BERT 的知识蒸馏策略，并表明在一系列结构预测任务中，这种方法能够显著地减少相对误差。

    May, 2020

  • 从对比微调的语言模型中提取语义概念嵌入

    提出通过对比学习策略来改进概念嵌入的语义表示方法，使用全新的 contextualized vectors 代替传统平均表示方法，可优化概念嵌入中的语义属性，使得使用该方法后的概念嵌入能在预测语义属性上显著突出于传统概念嵌入方法，尤其是使用 ConceptNet 的方法的效果最佳。

    May, 2023

  • 学习自然语言定义的解耦表示

    使用可表征语法和语义规律的定义句类别训练变分自编码器，并在多个测试中展现其成功解耦表示效果，以及在定义建模中得到的改善。

    Sep, 2022

  • 词形变化词典中的未监督歧义消解

    本文提出了使用基于神经网络的无监督学习方法来处理语料库中的词汇歧义问题，该方法在不考虑上下文的情况下，使用概率模型来推断单词形态上下文的各种分析，最终通过评估指标在五种语言上取得了一定效果。

    Jun, 2018

  • 学习句子表示的高效框架

    本文提出一种从未标记数据中学习句子表示的简单有效的框架，通过将句子出现的上下文预测问题重新表述为分类问题，并基于句子向量表示来区分上下文句子和对比句子，并在多个下游 NLP 任务中展示了高质量的句子表示的超越性能以及训练时间的数量级加速。

    Mar, 2018

  • 使用 BERT 知识蒸馏进行词义归纳

    该研究提出了一种两阶段的方法，使用上下文中单词意义的注意力来提取一个单词的多重意义，并将其传递到 skip-gram 模型中，以生成多重意义的嵌入，这比现有技术表现更好，可应用于主题建模。

    Apr, 2023

  • 一种多任务方法用于在句子表示中区分语法和语义

    本文提出一种基于神经网络的生成模型，使用两个潜变量来表征句子的句法和语义，并通过训练多个损失函数来实现更好的语义和句法表征的分离，将其应用于句子相似性任务中，并发现该模型的语义和句法表征性能均最优且最为分离。

    Apr, 2019

  • 语言模型压缩中的语言上下文提取

    本文提出了一种新的语言表示学习的知识蒸馏方法，通过单词关系和层变换关系传递上下文知识，无需限制教师和学生的架构变化，验证了该方法在语言理解任务的各种架构和 DynaBERT 等自适应尺寸剪枝方法的挑战性基准上的有效性。

    Sep, 2021

  • 使用上下文化的单词表示来分析词汇语义的变化

    本文提出了第一种使用上下文词表示进行无监督词汇语义变化的方法。利用 BERT 神经语言模型来获取单词用法的表示，将这些表示聚类到用法类型，并用三种提出的度量方式衡量关于时间的变化。创造了一个新的评估数据集，并表明模型表示和检测到的语义转移与人类判断之间呈正相关。 extensive 的定性分析表明，我们的方法捕捉了各种同步和历时语言现象。我们期望我们的工作将激发进一步的研究。

    Apr, 2020