EMNLPSep, 2021

无监督上下文化文档表示

PDF
TL;DR该研究提出一种简单而有效的无监督表示方法 SCDV+BERT (ctxd)，通过结合上下文化的 BERT 方法和 SCDV 软聚类方法来处理单义和上下文特性的词语。研究表明，在多项分类数据集和概念匹配和句子相似性等任务中，此嵌入方法的性能优于原始 SCDV、预训练 BERT 和其他基线模型，尤其在数据稀缺和少样本学习任务中比微调 BERT 和不同嵌入方法表现更好。
nlpword embeddingsbertclusteringpolysemy
发现论文，激发创造
  • 使用多义词嵌入提高文档分类

    本研究提出 SCDV-MS 方法，结合多义词嵌入及学习降维流形，用于文本表示与分类。实验结果表明，相较于先前方法，SCDV-MS 在多类别和多标签文本分类任务上性能更高，而且在时间及空间复杂度上更高效。

    Nov, 2019

  • 利用预训练的上下文化词表示改进词义消歧

    本文探讨了不同的策略，将预训练的上下文化单词表示与非上下文化单词嵌入使用最佳策略相结合，其在多个基准 WSD 数据集上实现了显著比之前发表的最佳准确率更高的结果，并提供了源代码。

    Oct, 2019

  • 学习上下文化的医疗答案检索文档表示

    本文提出了基于结构化查询元组和医疗术语的语境话语向量（CDV）来有效地从长篇医疗文档中检索答案的方法。该方法利用了层次 LSTM 神经网络，其位置编码的编码能力以及在句子层面上的近似最近邻搜索技术。研究结果表明，我们的方法在医疗段落排名方面表现优于现有的多个基准，并且适应多领域且不需要额外的微调。

    Feb, 2020

  • VCDM: 利用变分双编码和深度上下文化单词表示来改进定义建模

    本研究提出了一种生成模型来处理定义建模任务，并使用变分推断进行估计，并利用上下文化的词嵌入来提高性能，其在四个基准测试中均取得了最先进的表现。

    Oct, 2020

  • 从上下文化单词表示中无监督地提取句法信息

    本文讲述了如何通过自动生成语义不同但结果相似的句子组集来学习一种转换，以去除词法语义但保留结构信息，并证明这种方法在结构聚类方面的效果优于词汇语义聚类方法，最终在少样本解析任务中优于原始上下文化语言表示。

    Oct, 2020

  • 从对比微调的语言模型中提取语义概念嵌入

    提出通过对比学习策略来改进概念嵌入的语义表示方法，使用全新的 contextualized vectors 代替传统平均表示方法，可优化概念嵌入中的语义属性，使得使用该方法后的概念嵌入能在预测语义属性上显著突出于传统概念嵌入方法，尤其是使用 ConceptNet 的方法的效果最佳。

    May, 2023

  • 上下文词嵌入的逐步语义权重训练

    本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

    Nov, 2019

  • 可聚合的上下文化词向量用于有效短语挖掘

    当目标短语位于噪音上下文中时，单个密集向量不足以进行有效的短语检索；因此，我们提出了代表多个子句、连续词语片段的概念，每个片段都有自己的密集向量，并引入了一种修改后的对比损失函数用于鼓励词嵌入具备此属性，并展示了该方法在短语挖掘中的改进效果。

    May, 2024

  • 具有上下文目标表示的视觉、语音和语言自监督高效学习

    本文提出 data2vec 2.0 算法，通过利用丰富的上下文目标表示，实现了在几个模态之间进行泛化的快速自监督学习，进而在图像分类、语音识别等领域取得了很好的实验效果。

    Dec, 2022

  • 利用词嵌入和领域知识为科学摘要加入文献引用语境

    提出了一种使用分布式单词表示和领域知识从参考论文中提取适当上下文的无监督模型，评估结果表明其明显优于现有技术，并且还演示了上下文化方法提高科学文章引用摘要的有效性。

    May, 2017