Mar, 2022

mcBERT: 利用 BERT 进行动量对比学习以进行零 - shot 槽填充

PDF
TL;DR本研究提出了一种名为 mcBERT 的模型，利用 BERT 进行动量对比学习，以提高零 - shot slot filling 模型的性能。通过在 SNIPS 基准上进行实验，证明了 mcBERT 的优越性，并阐述了 mcBERT 的每个组件都为其性能提升做出了贡献。
zero-shot learningslot fillingmcbertbertmomentum contrastive learning
发现论文，激发创造
  • BERT 用于联合意图分类和槽填充

    本文提出了一种基于 BERT 的联合意图分类和槽填充模型，实验证明相对于基于注意力的循环神经网络模型和槽门控模型，在几个公共基准数据集上，我们的模型在意图分类准确性、槽填充 F1 值和句级语义框架精度方面显著提高。

    Feb, 2019

  • 使用多语言 BERT 进行零样本跨语言迁移中的特征聚合

    本文探讨了利用 mBERT 最后一个 transformer 层以外的信息，采用基于 attention 机制的特征聚合模块，对不同层次的信息进行融合。实验结果表明，在 XNLI、PAWS-X、NER、POS 等关键领域任务中，该方法在零 - shot Cross-lingual 下具有良好的性能提升，并且探讨了 mBERT 的可解释性。

    May, 2022

  • Beto, Bentz, Becas：BERT 的跨语言效果之惊人

    该研究探讨了 mBERT 作为零 - shot 语言转移模型在跨语言任务上的运用，包括 NLI、文档分类、NER、POS 标注和依赖分析等五个任务。研究发现，mBERT 在每个任务上都具有竞争力，并考察了其使用策略、语言无关特征和影响跨语言传输的因素。

    Apr, 2019

  • ZeroBERTo：利用主题建模提高零样本文本分类能力

    本文提出了一种名为 ZeroBERTo 的新模型，利用无监督聚类方法在分类任务前获取压缩数据表示，其在长文本输入的性能和执行时间上都优于 XLM-R， F1 分数比 FolhaUOL 数据集上的 XLM-R 高约 12％。

    Jan, 2022

  • BERT、mBERT 还是 BiBERT？关于上下文化嵌入用于神经机器翻译的研究

    本研究通过将定制和合适的双语预训练语言模型（称为 BiBERT）的输出（上下文嵌入）作为神经机器翻译编码器的输入，展示了实现最先进的翻译性能的方法，并提出了一种随机层选择方法和双向翻译模型的概念，以确保充分利用上下文嵌入。

    Sep, 2021

  • 一种简单的元学习范式，用混合注意机制进行零样本意图分类

    本文提出了一种简单而有效的元学习范式，采用多种混合注意力机制来提取更好的话语特征，采用元学习策略来提高模型的泛化能力，从而在标准和广义零 - shot 意向分类任务上优于其他强基线

    Jun, 2022

  • 多语言 BERT 的跨语言对齐方法：一项比较研究

    本文分析了不同形式的跨语言监督和各种对齐方法对 Multilingual BERT 在零 - shot 设置下的转移能力的影响，比较了平行语料库 vs. 字典导向的监督和旋转 vs. 微调对齐方法，针对两个任务（名称实体识别和语义槽填充），我们评估了不同对齐方法在八种语言上的性能，并提出了一种新的规范化方法，该方法不断改进基于旋转的对齐性能，特别是远距离和在语言类型上不同的语言。此外，我们还发现对于任务和转移语言的接近程度，不同的对齐方法存在偏差，平行语料库的监督力度通常优于字典对齐。

    Sep, 2020

  • 通过鲁棒性训练提升零样本跨语言迁移学习

    本文提出了一种通过对抗样本和零样本跨语言转移失败案例进行联系的学习策略，采用对抗性训练和随机平滑这两种方法来训练多语言编码器更加强健的模型，实验结果表明，强健训练可以提高零样本跨语言数据分类任务中的性能，尤其在输入语句属于两种不同语言的情况下，改进更为显著。

    Apr, 2021

  • 跨语言对齐的多层对比学习

    本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响。该方法显著提高了基础模型（mBERT）的跨语言迁移能力，并在 Xtreme 基准测试的多个零 - shot 跨语言下游任务中表现优异。

    Feb, 2022

  • 零样本槽位填充的强健检索增强生成

    本文提出了一种使用 hard negatives 和强健的训练程序增强检索生成模型而进行零样本槽填充的新方法，该方法在 T-REx 和 zsRE 槽填充数据集上都有较大的改进，并在 KILT 排行榜上排名首位。此外，通过零 / 少样本学习的组合，我们在 TACRED 数据集的新变体上演示了我们系统的适应能力，并发布了源代码和预训练模型。

    Aug, 2021