Apr, 2022

BLISS: 基于自监督输入表示的强健序列到序列学习

PDF
TL;DR本文提出了一种名为 BLISS 的架构级强韧序列到序列学习方法，通过自监督输入表示具有潜在的补充数据级扩充方法的潜力，在各种任务中得到验证，包括机器翻译，语法纠错和文本摘要。
data augmentationssequence-to-sequence learningself-supervised input representationnatural language processingbliss
发现论文，激发创造
  • 通过输入变换的自监督标签增强

    通过自监督学习，本文提出的单一统一任务学习方法能够有效地提高模型的准确性，并且在各种全监督学习场景下均具有广泛的适用性。

    Oct, 2019

  • SupCL-Seq: 下游优化序列表示的有监督对比学习

    本文介绍了 SupCL-Seq，这是一种扩展了计算机视觉中的监督对比学习方法，应用于优化自然语言处理中的序列表示。通过改变标准 Transformer 架构中的 dropout 掩码概率，在每个表示（锚）上生成增强的变形视图，并使用监督对比损失来最大化系统将相似样本（例如，锚和它们的变形视图）拉拢在一起并将属于其它类别的样本推开的能力。相较于标准 BERTbase 模型，在 GLUE 基准测试中的许多序列分类任务中取得了显著提升，包括 CoLA 上的 6％、MRPC 上的 5.4％、RTE 上的 4.7％和 STSB 上的 2.6％，特别是在非语义任务中，相对于自监督对比学习表示也表现出了一致增长。最后，我们展示了这些增益并不仅仅是由于数据增广，而是由于下游优化的序列表示。

    Sep, 2021

  • 低资源神经序列标注的不确定性自我训练

    本文提出了 SeqUST， 一种新颖的不确定性感知自我训练框架，以解决标记数据稀缺性问题并有效利用未标记数据来改善神经序列标注的性能，并在六个基准测试中展现出在低资源场景中超越强基线模型的能力。

    Feb, 2023

  • 预训练句子嵌入的相互强化框架

    本研究基于自监督对比学习方法，提出了一种名为 InfoCSE 的新型框架，用于解决手工数据注释不可靠的问题，通过迭代的自我监督和数据标注反馈，实现了句子表示模型和数据注释方法的相互协作，有效提高了自监督学习的效果。实验证明，该方法在三个基准数据集上取得了显著的改善。

    Feb, 2022

  • 使用对比双向变换器学习视频表示

    本文提出了一种自监督学习方法，用于视频特征，与现有方法相比在下游任务中表现显著提高，通过将文本序列的 BERT 模型扩展到实值特征向量序列的情况，以噪声对比估计取代 softma 损失函数，同时展示了如何从可视特征序列和 ASR 派生的词序列中学习表示，并且表明这样的跨模态训练可以进一步提高性能。

    Jun, 2019

  • 对比自监督学习中的文本转换方法综述

    本综述论文探讨了如何在自监督学习中使用对比学习方法来改善文本表示学习，并介绍了现有方法的优缺点和局限性。

    Mar, 2022

  • 神经序列生成的自训练再探

    本文提出了一种基于自训练的半监督学习方法，通过加入 label 缺失的无标签数据和模型预测，模型的性能和精确度可以得到有效的提升，而 dropout 和注入噪声则是关键操作。

    Sep, 2019

  • 无监督学习的盲生物序列去噪

    无监督集合学习（SSSL）方法能够在没有直接观察到干净的源序列标签的情况下，将亚读物聚集在嵌入空间中并估计单个集合嵌入作为亚读物在潜在空间和序列空间中的中点，从而实现对生物序列进行准确去噪。该方法在模拟的长读长 DNA 数据和真实的抗体序列数据集上表现出优于基准方法的去噪性能，为高通量 DNA 测序数据在下游科学应用中的潜力提供更好的实现。

    Sep, 2023

  • 自我训练提升自然语言理解的预训练

    本文研究了一种使用自训练方法的半监督学习，提出了 SentAugment 数据增强方法，并取得了在文本分类任务上高达 2.6% 的改进。

    Oct, 2020

  • 双向交互的半监督双语词典归纳

    本文提出了一种新的半监督双语词表归纳框架，通过先验最优运输和双向词典更新等机制促进有标注和无标注数据之间的交互，在 MUSE 和 VecMap 数据集上表现出显著的提高，并通过消融研究证明了受监督信号和无监督对齐之间的双向交互对于整体性能的提高起到了作用。

    Oct, 2020