May, 2023

利用上下文和定义之间的相关性进行多定义建模

PDF
TL;DR本论文提出了一种名为 Multiple Definition Modeling (MDM) 的新任务，通过汇集目标词的所有上下文和定义，改进了 Single Definition Modeling (SDM) 的表现，同时在零 - shot 设置中达到了可比较的性能，为 Definition modeling 提供了一个新的方向。
发现论文，激发创造
  • 定义建模：建立定义。使用少量或没有语义生成定义

    本文研究任务是生成定义，目的是评估单词嵌入的语义质量，本文证明这个任务与语义相关性较小，并且依赖于头词和语境中出现的单词之间的形式相似性，从而对用此任务来评估单词嵌入的有效性提出质疑。

    Jun, 2023

  • 定义建模：学习在自然语言中定义词嵌入

    本文研究如何利用分布式表示生成单词的字典定义，介绍了几种基于 RNN 的定义模型，探讨了字母级别卷积层对词级嵌入的补充，最终通过错误分析揭示了模型的缺陷。

    Dec, 2016

  • VCDM: 利用变分双编码和深度上下文化单词表示来改进定义建模

    本研究提出了一种生成模型来处理定义建模任务，并使用变分推断进行估计，并利用上下文化的词嵌入来提高性能，其在四个基准测试中均取得了最先进的表现。

    Oct, 2020

  • 标记我的词：一种序列到序列的定义建模方法

    本文将定义建模任务作为一种序列到序列（sequence-to-sequence）的任务，使用基于 Transformer 的模型训练上下文匹配和定义生成，取得了最优结果。

    Nov, 2019

  • 多域和多任务学习的统一视角

    本文提出了一种基于神经网络的新视角，并引入语义描述符的概念，从而将多任务学习和多域学习统一起来，并将各种经典和最新的多任务学习 / 多域学习算法解释为构建语义描述符的不同方式。通过本文的解释，可以提供一种零样本学习（ZSL）的替代方法，而且新的实践问题 —— 零样本域适应（ZSDA）也得以提出。实验表明，我们的框架在各种问题上都胜过了许多其他方法。

    Dec, 2014

  • 用于无监督简单定义生成的多任务框架

    提出了一个新的任务：简单定义生成（SDG）。使用一个复杂字典和一个包含任意简单文本的语料库，提出了一个多任务框架 SimpDefiner，包含两个解码器，可以同时生成复杂和简单的定义，有效提高了中文定义中 HSK 1-3 级词汇的比例。

    Mar, 2022

  • 将义元加入汉语定义建模

    本文介绍了一个用于生成中文词汇释义的语料库（CDM），并且通过引入 Adaptive-Attention 模型和 Self- and Adaptive-Attention 模型等新模型，成功提升了中文释义生成的精度和效果。实验结果表明，该模型比现有的最先进模型的 BLEU 指标要高出 6.0 个百分点。

    May, 2019

  • 不充足注释下的多域学习

    本文介绍了一种名为多领域对比学习（MDCL）的新方法，以减轻不充分注释对传统 MDL 方法的影响，该方法旨在捕获来自标记和未标记数据的语义和结构信息，通过在不同领域的共享和私有空间中分别对其进行处理。实验结果表明，MDCL 相对于各种共享 - 私有模型（SP models）都带来了明显的改进，而且还能在多领域主动学习中得到进一步应用，以获得更好的总体性能。

    May, 2023

  • 词汇语义变化检测中的定义生成

    利用大型语言模型生成的上下文词定义作为语义表示，通过比较不同时间段内目标词的分布来检测词汇语义改变的任务中，我们发现生成的定义足够特定和普遍，能够传达充分的信号以对单词集按照其随时间的语义变化程度进行排名。同时，我们的方法在无监督的基于意义的词汇语义变化检测方法中达到或超过了先前的水平。这一方法保持可解释性，允许检查特定转变背后的原因，基于离散的定义作为意义。这是朝着可解释的语义变化建模的又一步。

    Jun, 2024

  • CoDA21：使用上下文 - 定义对齐评估 NLP 模型的语言理解能力

    介绍了 CoDA21 基准测试评估预训练语言模型（PLMs）的自然语言理解（NLU）能力，排除了现有基准测试的不足之处，并发现人类与 PLMs 的 NLU 表现差异较大。

    Mar, 2022