Mar, 2022

Auto-MLM: 自监督多语言知识检索的改进对比学习

PDF
TL;DR本文提出一种结合对比学习和自动编码器掩码语言模型的联合训练方法，用于自我监督多语言知识检索，通过生成新的标记表示来预测掩码标记，实验结果表明，在 8 种语言上，我们的提出的方法在 AliExpress 和 LAZADA 服务语料库和公开可用的语料库上都 consistently 超过了所有先前的 SOTA 方法。
contrastive learningnatural language processingunsupervised trainingknowledge retrievalmulti-lingual
发现论文，激发创造
  • 有条件掩码语言模型的通用句子表示学习

    本文介绍了一种名为条件遮蔽语言建模（CMLM）的新型训练方法，用于在大规模未标记的语料库上有效地学习句子表示。CMLM 通过在编码相邻句子的向量上进行条件处理，将句子表示学习整合到 MLM 训练中。我们的英语 CMLM 模型在 SentEval 上取得了最先进的性能，并且胜过使用监督信号学习的模型。作为完全无监督的学习方法，CMLM 可以方便地扩展到广泛的语言和领域。我们发现，与位文检索（BR）和自然语言推断（NLI）任务共同训练的多语言 CMLM 模型在跨语言语义搜索等方面比以前最先进的多语言模型的基准模型有了很大的提高，例如改进了基准模型 10％。我们探索了学习表示的相同语言偏见，并提出了一种简单的，基于模型的方法来从表示中删除识别语言的信息，同时仍保留句子语义。

    Dec, 2020

  • ML-LMCL：提升口语理解中自动语音识别鲁棒性的相互学习和大边界对比学习

    通过互相学习和大间距对比学习，提出一种新的框架 ML-LMCL 来提高自动语音识别在对话系统中口语理解的鲁棒性。通过在手动转录和自动识别转录之间共享知识，引入距离极化正则化器以尽量避免推开簇内成对样本，使用周期性退火调度缓解 KL 关于消失问题，并在三个数据集上表明 ML-LMCL 模型胜过现有模型并获得最新的性能。

    Nov, 2023

  • 无监督方式提升语言模型中的事实知识

    本研究提出一种影响掩蔽语言模型预训练的方法，使其在无监督的方式下优先选择有信息的词汇，实验证明此方法大大提高了预训练语言模型在诸如事实回忆、问题回答、情感分析和自然语言推理等知识密集型任务中的表现。

    Apr, 2023

  • 基于条件 MLM 对比学习的句子嵌入方法 (CMLM-CSE)

    提出了一种基于条件 MLM 的无监督对比学习框架 CMLM-CSE，通过增加辅助网络来集成句子嵌入执行 MLM 任务，使句子嵌入学习更多的屏蔽词信息，使用 Bertbase 和 Robertabase 作为预训练语言模型进行预训练，在文本相似性任务中分别超过了 SimCSE 0.55 和 0.3 个百分点。

    Jun, 2023

  • 探索文本生成的屏蔽语言建模和因果语言建模

    这篇论文比较了掩码语言模型和因果语言模型在文本生成任务上的表现，发现掩码语言模型在生成文本时具有更好的质量和连贯性，并且对下游任务的性能没有明显影响，从而显示了掩码语言模型在文本生成方面具有巨大的潜力并指导了未来研究的方向。

    May, 2024

  • 大规模综合监督的跨语言开放领域问答预训练

    基于自我监督方法的编码器 - 解码器模型在跨语言问答中表现出色，利用维基百科的跨语言链接结构，综合生成监督信号，提高了检索和回答生成的性能，相比于其他方法，包括机器翻译，CLASS 方法在监督和零资源语言适配等方面均取得更好的效果。

    Feb, 2024

  • DICT-MLM：使用双语词典的改进多语种预训练

    本文提出 DICT-MLM 方法以促进跨语言表示学习，分析表明该方法在多种涉及 30 多种语言的下游任务中表现出了更好的多语言表示能力。

    Oct, 2020

  • TaCL：利用 Token-aware 对比学习提高 BERT 预训练

    本文介绍了 TaCL，一种全新的断续预训练方法，利用无监督学习使 BERT 学习各种符号表示的同构和具有辨别性的分布，通过广泛测试，TaCL 在中英文基准测试中带来了显著的改进。

    Nov, 2021

  • 自监督不助于大规模自然语言监督

    本研究探讨了自监督与自然语言监督相结合，对大规模图像 - 文本训练的影响，结果表明，这种结合方式能够提高小数据集的表现，但对大规模数据集并没有显著提升。

    Jan, 2023

  • 多模态对比学习的泛化性

    本文通过建立多模态对称矩阵分解和对称矩阵分解的内在联系，证明了多模态对比学习在图像下游任务中的泛化保证，并通过统一模型表明多模态对比学习隐含地通过文本对生成了伪正对，从而具有更多的语义一致和多样性正对，可显著提高基于自我监督的对比学习在图像分类中的性能。

    Jun, 2023