Aug, 2022

MetricBERT：通过自监督三元组训练学习文本表征

PDF
TL;DR本文介绍了一种基于 BERT 的模型 MetricBERT，该模型通过学习嵌入文本并同时遵循传统的掩码语言任务，以在定义明确的相似度度量下进行。我们主要关注于推荐中的学习相似性的下游任务，表明 MetricBERT 在超越其他最先进的替代方法并取得显著优势方面出色地表现。此外，我们还发布了一个由领域专家制作的视频游戏描述数据集以及测试集的相似性注释。
metricbertbert-based modelrecommendationssimilarity metricvideo games descriptions
发现论文，激发创造
  • 使用 BERT 评估文本生成

    BERTScore 是一种针对文本生成的自动评估指标，利用上下文嵌入计算 token 的相似性，能够更好地与人类判断相关，并提供比现有度量更强的模型选择性能。

    Apr, 2019

  • 使用三元组网络进行深度度量学习

    本文提出了三元组网络模型，通过距离比较来学习有用的表示方法，在多个数据集上的结果显示其比竞争对手孪生网络学习了更好的表示方法，而且还探讨了其作为无监督学习框架的未来可能用途。

    Dec, 2014

  • ImageBERT：利用大规模弱监督图像 - 文本数据的跨模态预训练

    本文提出了一种新的视觉 - 语言预训练模型 ——ImageBERT，用于图像 - 文本联合嵌入，该模型基于 Transformer，可以将不同的模态作为输入，并建模它们之间的关系。通过多阶段的预训练策略，可以提高预训练质量，最终在图像检索和文本检索任务上获得了新的最先进结果。

    Jan, 2020

  • KG-BERT: 知识图谱补全任务的 BERT 模型

    本研究提出使用预训练语言模型来完成知识图谱，使用 KG-BERT 架构对知识图谱中的三元组进行建模，通过实验结果显示，该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。

    Sep, 2019

  • BLEURT: 学习文本生成的鲁棒度量

    提出了一种基于 BERT 的学习评估指标 BLEURT，可以通过数千个训练实例建模人类判断，并使用数百万个合成实例的新型预训练方案来帮助模型泛化，提供在 WMT Metrics 共享任务和 WebNLG 大赛数据集上的最佳结果。

    Apr, 2020

  • VideoBERT: 视频与语言表征学习的联合模型

    本研究通过建立基于 BERT 模型的视觉 - 语言联合模型学习高级特征，提出了一种在无显式监督下学习高级特征的方法，并将其应用于多项任务，如动作分类和视频字幕生成等，取得了优越的成绩。

    Apr, 2019

  • 交叉 BERT 用于点云预训练

    通过引入 BERT 到跨模态的环境中，本文提出了一种新的跨模态 BERT 风格的自监督学习范式，称为 Cross-BERT，通过探索相同对象 / 场景的 2D 和 3D 数据之间的隐含语义和几何关系来提高 3D 点云表示的性能，以及 BERT 在不同模态之间的传递能力。

    Dec, 2023

  • 抗击单词级对抗性攻击的文本嵌入

    本研究提出了一种新的鲁棒训练方法，即 Fast Triplet Metric Learning (FTML)，通过采用三元组度量学习来让相似的样本在嵌入空间中的表示更接近，并与其敌对样本有类似的表示，从而提高自然语言处理模型在对抗攻击下的鲁棒性。实验证明，该方法不仅有效地提高了模型的鲁棒性，而且效率高，可在标准训练中引入很少的开销，具有很大的潜力来提高文本的鲁棒性。

    Feb, 2022

  • 针对词级语义相似性的无监督预训练模型专业化

    本研究将外部词汇知识与 BERT 模型的多任务学习相结合，提出了一种 “词汇知情” 的 BERT（LIBERT）模型，比起原始 BERT 在多项语言任务和词汇简化任务中均有显著提高。

    Sep, 2019

  • SBERT 研究意义表示：将句子嵌入分解为可解释的语义特征

    该论文介绍了一种新的基于 semantically structured sentence BERT embeddings（S^3BERT）的方法，通过近似可解释的 AMR 图表特征的方法将句子嵌入分解为语义特征，并通过 SBERT 教师模型的相似度打分来约束分解学习过程，从而保持神经嵌入的效力和效率。

    Jun, 2022