Jun, 2023

基于检索的对话系统的上下文蒙版自编码器

PDF
TL;DR本研究提出了 Dial-MAE 技术，它是一种针对对话回答选择的后期训练技术，使用了对话语境掩码自动编码器和不对称编码器 - 解码器架构来更好地压缩对话语义，并在两个常见的基准测试中取得了最先进的性能。
dialogue response selectionpost-training techniquesgenerative methodsdial-maestate-of-the-art performance
发现论文，激发创造
  • 基于上下文遮盖的自编码器用于密集型段落检索

    本研究提出 CoT-MAE 方法，通过自监督和上下文监督的遮蔽自编码学习将句子语义压缩成密集向量，进而在大规模的检索基准数据集上实现了相比强基线更高效的检索表现。

    Aug, 2022

  • 通过遮蔽自编码器预训练针对检索的语言模型 RetroMAE

    本研究提出一种新的基于 Masked Auto-Encoder 的检索导向的预训练模型 RetroMAE，通过三个关键设计，包括污染输入、不对称模型结构和不对称的遮盖比率，取得了令人满意的实验结果，大幅提高了在 BEIR 和 MS MARCO 等检索基准测试中的性能表现。

    May, 2022

  • RetroMAE-2: 双工遮蔽自编码器用于预训练面向检索的语言模型

    本文提出了一种新的预训练方法，名为 Duplex Masked Auto-Encoder（DupMAE），以改善用于信息检索任务的上下文嵌入的语义表示质量，其中所有上下文嵌入都可以被利用。通过两个互补的自编码任务，联合训练一个统一的编码器，实现所有上下文化嵌入的紧凑汇总，生成最终的语义表示。

    May, 2023

  • RetroMAE v2：用于预训练检索定向语言模型的双工掩蔽自编码器

    本文介绍了一种新的预训练方法 ——DupMAE，该方法可同时提高 [CLS] 和普通 token 的语境嵌入的语义表示能力，取得了在 MS MARCO 和 BEIR 基准测试中显著的改进效果。

    Nov, 2022

  • 具有挑战性的解码器有助于稠密通道检索的掩码自编码器预训练

    该研究提出了一种基于点互信息的令牌重要性感知遮蔽策略，以加强解码器的挑战，进而构建编码器的表示能力，并在大规模监督通道检索数据集和领域外零 - shot 检索基准上验证了其有效性和鲁棒性。

    May, 2023

  • 视觉与语言的同步：用于指代图像分割的双向标记掩码自编码器

    提出了一种新的双向掩蔽自编码器（BTMAE）模型，通过重建图像和语言特征中的缺失特征来学习图像与语言的上下文，并实现在复杂语句和场景中的强鲁棒性，提高推理图像分割的性能。

    Nov, 2023

  • VarMAE: 可变分蒸馏自编码器的预训练，用于领域自适应语言理解

    本文提出了一种基于 Transformer 的语言模型 ——VarMAE，通过上下文不确定性学习模块，将限定的语料库转化为平滑的潜在分布，从而为特定领域提供多样性和良好形式的上下文表示，实验证明 VarMAE 在科学和金融领域的 NLU 任务中，可以高效地适应有限资源的新领域。

    Nov, 2022

  • 从局部对比角度理解掩码自编码器

    通过对编码器 - 解码器架构以及局部对比学习的分析，本文探索了 Masked AutoEncoder 的机制，并将其改进为一种局部区域级对比学习形式，为改进自监督学习框架提供了更全面和灵活的解释。

    Oct, 2023

  • 多模态掩蔽自编码器用于动态情绪识别

    本文提出了一种名为多模态蒙特卡洛自动编码器（MultiMAE-DER）的处理多模态数据用于动态情感识别的新方法。MultiMAE-DER 利用视觉和音频模态之间的时空序列中紧密相关的表示信息。通过利用预训练的蒙特卡洛自动编码器模型，通过简单直接的微调实现 MultiMAE-DER。该方法通过优化六种多模态输入序列融合策略来提高 MultiMAE-DER 的性能，解决了跨域数据中的动态特征相关性问题。与现有的多模态监督学习模型相比，MultiMAE-DER 在 RAVDESS 数据集上的加权平均召回率（WAR）提高了 4.41％，在 CREMAD 上提高了 2.06％。此外，与多模态自监督学习的最新模型相比，MultiMAE-DER 在 IEMOCAP 数据集上的 WAR 提高了 1.86％。

    Apr, 2024

  • CoT-MAE v2：利用多视角建模的上下文遮盖自编码器进行段落检索

    通过多视图模型和上下文遮掩自编码器的多视图预训练方法，该研究旨在提供更好的上下文表示预训练，并在大规模文本检索基准和领域外零 - shot 基准测试中表现出有效性和鲁棒性。

    Apr, 2023