COLINGAug, 2018

神经网络时间关系分类的词级损失扩展

PDF
TL;DR本文介绍了一种利用无标签文本数据的无监督预训练词向量，通过加入未监督辅助损失（unsupervised auxiliary loss）来扩展分类模型的任务损失，确保学习到的词表示包含了从监督损失组件中学到的 task-specific 特征和从未监督损失组件中学到的更通用的特征，并在临床记录的叙述包含关系抽取任务上对其进行了评估，使用通用类型的词性标注器作为语言资源，在 THYME 数据集上实现了技术上的提高。
unsupervised pre-trained word embeddingstask losstemporal relation extractionclinical recordsthyme dataset
发现论文，激发创造
  • 面向任务的词向量学习用于语义关系分类

    本文介绍了一种新颖的学习方法，用于关系分类的单词嵌入训练，并使用无标注语料库上的词汇关系特定特征预测名词对之间的单词，以将关系特定信息显式地纳入单词嵌入中。通过使用所学习的单词嵌入来构建特征向量，用于关系分类模型。在一个基于语义关系分类任务中，我们的方法表现显著优于基于之前介绍的单词嵌入方法的基准线，并与使用句法信息或手动构造的外部资源的先前最先进的模型相比，表现出了比较良好的结果。

    Feb, 2015

  • 将未见过的单词映射到任务训练的嵌入空间

    该研究在监督式训练中，通过利用神经网络将词向量映射到任务特定的向量空间，以解决测试集中新词的嵌入问题。实验结果表明，该技术可以显著提高依赖分析和情感分析的效果。

    Oct, 2015

  • 自然语言处理任务中的迁移学习监督上下文嵌入

    本文关注于从多个预训练的监督模型中提取表示，以丰富单词嵌入具有任务和领域特定的知识，实验表明这样的监督嵌入对于低资源情况有所帮助，但对于任务和领域的性质不同的扩展程度不同，而我们公开了我们的代码。

    Jun, 2019

  • 将语义关系嵌入到词表示中

    通过提取语料库中词汇的共现模式来实现无监督学习，学习不仅代表个体单词的表示，还明确捕捉代表单词间语义关联的词向量表示，并通过联合权重和二元分类器来描述单词间的语义关系，取得了普遍类比检测三个基准数据集中的显著性优势。

    May, 2015

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 元嵌入作为辅助任务规则化

    通过构建一个辅助任务来重建词嵌入集成，从而规范主任务，从而在使用各种标记的词相似度数据集进行监督的基础上，显著改善了词相似度数据集的表现，并在序列标记和句子分类中进行了词元嵌入的重建。

    Sep, 2018

  • 对比学习句向量的非语言监督

    本文提出了一种多模态多任务的 Transformer 模型，通过对句子和非语言数据对比学习的方式来提高句子编码器的性能，并在基准测试中获得了更高质量的语义文本相似性结果。

    Sep, 2022

  • 评估无监督的荷兰语单词嵌入作为语言资源

    本文探讨使用基于计数和基于预测结构构建的多种类型词向量嵌入在两个特定任务中的表现，即关系评估和方言识别，同时展示了这些嵌入的实用性以及在下游任务中的有效性。

    Jul, 2016

  • 针对词级语义相似性的无监督预训练模型专业化

    本研究将外部词汇知识与 BERT 模型的多任务学习相结合，提出了一种 “词汇知情” 的 BERT（LIBERT）模型，比起原始 BERT 在多项语言任务和词汇简化任务中均有显著提高。

    Sep, 2019

  • 无监督关系抽取的深度双向转换器

    使用句法分析和预先训练的词嵌入技术，在缺乏任何形式监督的情况下，提取少量精确关系，用于注释更大的语料库，并在生物医学领域的四个数据集上通过微调预先训练的 BERT 模型进行关系抽取实验表明，与无监督关系提取的两个简单的基线相比，我们的方法显著优于两个简单的基线，即使不使用任何监督，也获得了三个数据集中的最先进结果之一；更重要的是，我们证明了使用噪声数据可以成功地对大型预先训练的语言模型进行微调，而不是依赖于黄金数据进行微调。

    Nov, 2019