AAAIDec, 2020

对比预训练与对抗微调结合的零样本专家链接

PDF
TL;DR本文提出了 CODE 方法，用于将任意外部专家链接到 AMiner 上，通过对比学习构建专家模型并采用对抗微调方法增强模型的迁移能力，在两个外部数据源上进行评估并展示在线部署和主动学习的性能。
expert findingaminerzero-shot expert linkingcodeadversarial fine-tuning
发现论文，激发创造
  • 对比代码表示学习

    本文介绍了应对在自然语言生成中源代码编辑的二义性问题的解决方案 ——ContraCode，通过对许多非等价程序的功能相似变体进行对比预训练的方式来实现源代码功能性的学习，并在 JavaScript 总结和 TypeScript 类型推断准确性上取得了较大的提升。

    Jul, 2020

  • 规模化的代码表示学习

    通过大量的代码数据进行编码表示学习，使用两阶段的预训练方案以及对比学习的方式增强表示，在各种下游任务上持续显著地超过现有的模型，详细讨论了源代码的自定义和有效的令牌级去噪方案、硬负样本与硬正样本的重要性、提出的双模态对比学习如何提升跨语义搜索性能以及预训练方案对模型规模决定下游任务性能的影响。

    Feb, 2024

  • 对比训练提高半结构化文档零样本分类能力

    本研究使用了匹配方法，并对零样本学习中的半结构化文档分类任务进行了探索，使用对位对比目标来加强监督和无监督的零样本学习，显著提高了宏 F1 的结果。

    Oct, 2022

  • 产品匹配的监督对比学习

    本文首次将有监督对比学习应用于电子商务中的产品匹配任务，使用来自不同电商的产品提供，通过对有标签的对比学习进行预训练，并提出了一种源感知采样策略，能够在训练数据不包含产品标识符的使用用例中使用对比学习，实验结果表明对比预训练与源感知采样相结合，可以显著提高多个广泛使用的基准测试性能，并在有明确监督的产品匹配用例中具有很高的潜力。

    Feb, 2022

  • 一种用于时间序列的监督对比学习预训练 - 微调方法

    引入一种新的预训练程序，利用有监督对比学习来区分每个预训练数据集中的特征，进而通过将目标数据与预训练数据集的学习动态更加紧密地对齐，以提高目标数据的准确预测。

    Nov, 2023

  • 对比自监督学习的高效数据预训练

    本文提出了一种基于对比学习的文本编码器，利用 60MB 的任务内文本数据进行预训练，相较于利用 160GB 的任务外文本进行预训练的 RoBERTa 模型，在预训练效率、数据和计算资源利用率、以及算法公正性方面有了显著提高。

    Oct, 2020

  • 对比式预训练用于文本与代码嵌入

    本文研究了使用对比方式的自监督无监督训练大规模文本向量化，得到的向量在文本与代码搜索中表现优异，相较于之前使用监督学习方法的实验结果，相对提升了 4% 到 23.4% 不等。

    Jan, 2022

  • HierarchicalContrast：一个用于跨领域零样本槽位填充的粗到精对比学习框架

    在任务导向的对话场景中，跨领域零样本槽填充在利用源领域知识学习高泛化能力模型的同时，在未标注数据的未知目标领域中起到至关重要的作用。然而，现有最先进的零样本槽填充方法在目标领域中的泛化能力有限，只对已见槽显示有效的知识转移，在未见槽上表现不佳。为了缓解这一问题，我们提出了一种新颖的分层对比学习框架（HiCL）用于零样本槽填充。具体而言，我们提出了一种基于高斯分布嵌入的粗细粒度对比学习方法，以学习语句标记之间的广义深层语义关系，通过优化之间和之内的标记分布距离。这促使 HiCL 在训练阶段泛化到未见的槽类型上。此外，我们提出了一种新的迭代标签集语义推断方法，可以不偏不倚地分别评估在先前的零样本槽填充评估方法中与它们的对应槽类型相纠缠的未见槽类型的性能。对四个数据集的广泛经验性实验证明，所提出的方法的性能与当前最先进的零样本槽填充方法相当甚至更好。

    Oct, 2023

  • 对比学习何时能从预训练到微调保持对抗鲁棒性？

    本文通过提高对抗性鲁棒性的角度重新审视和推进了对比学习。作者设计了高频组件的对比视图，以及增加伪监督刺激的对比学习来帮助保护模型的鲁棒性。作者提出了一种新的对抗性对比预训练框架 AdvCL， 在多个数据集上展示了其卓越的性能，该框架能够提高跨任务鲁棒性传输，同时不会降低准确性和微调效率。

    Nov, 2021

  • 对比对抗和扩散：探索沟回识别的预训练和微调策略

    本研究旨在通过评估计算机视觉中的预训练技术和微调策略优化神经网络的学习过程，探讨其在独立相同分布群体中的优势。我们通过使用包含 596 个对象的 TOP-OSLO 群体，利用不同的三维卷积神经网络体系结构，在多任务分割 - 分类挑战中，实证地展示了我们的研究结果。

    May, 2024