ICMLJul, 2022

LAVA: 用于对比视频预训练的语言音频视觉对齐

PDF
TL;DR提出一种基于对比学习（contrastive learning）的学习方法 LAVA，用于自监督学习来学习联合语言、音频和视频表征，并使用变压器编码器在 Kinetics 700 数据集上预训练，其中相对于当前最先进的自监督和弱监督预训练技术，使用相对较少的标记数据，在 UCF-101 和 HMDB-51 视频动作识别方面表现出竞争力。
machine perceptioncontrastive learningself-supervised learningvideo datapretraining
发现论文，激发创造
  • 对比即记忆：语义邻居检索增强的归纳式多模态知识图谱补全

    提出了一种基于语义邻居检索增强的归纳式多模态知识图谱补全框架 CMR，通过对多模态查询实体对的文本 - 视觉和文本 - 文本相关性进行统一的交叉模态对比学习，增加有助于语义邻居的相似性，然后显式记忆知识表示以支持语义邻居检索，并在测试时通过插值将最近的语义邻居与查询实体的相似性分布相结合以增强最终预测，实验证明了 CMR 在三个归纳式多模态知识图谱补全数据集上的有效性。

    Jul, 2024

  • 无需术语和不必要解释的通用手语翻译和生成的亮度级别表示法

    通过引入 Universal Gloss-level Representation (UniGloR)，我们提出了一个统一的自监督解决方案，用于手语翻译和手语生成任务，并在各项任务中展示了 UniGloR 的有效性。我们的研究表明，自监督学习可以以统一的方式进行，为未来的创新与实际应用铺平了道路。

    Jul, 2024

  • 走向语音表征学习的下一个前沿：利用解缠绕

    我们提出了一种名为 Learn2Diss 的自我监督学习语音表示的框架，它包括帧级和话语级编码器模块，通过解开两个编码器并使用基于互信息的标准来进行联合学习，从而在多种任务上实现了最先进的结果，帧级编码器的表示改进了语义任务，而话语级表示改进了非语义任务。

    Jul, 2024

  • 数据高效无监督表示学习的多粒度对比

    本研究提出了一种新颖的多粒度对比方法（MGC），通过构建细致的多粒度对应关系和对比学习，在不使用大规模数据集的情况下，显著优于现有的基准方法，在目标检测、实例分割、场景解析、语义分割和关键点检测等广泛下游任务中展现出数据高效性和优秀的表示迁移性能。

    Jul, 2024

  • SAFE：基于自监督学习和掩蔽孪生 ViTs 的 SAR 特征提取器

    基于遮掩的孪生视觉变压器提取器 (SAFE) 是一种新颖的自监督学习框架，通过对未标记的合成孔径雷达影像数据进行对比学习，提取稳健且具有普适性的特征。SAFE 可用于多种合成孔径雷达采集模式和分辨率下，具有针对合成孔径雷达影像的数据增强技术，如亚孔径分解和去斑点处理。对少样本分类、分割、可视化和模式检测等多种下游任务的全面评估表明，所提出的方法的有效性和多功能性。即使在未经使用的传感器上进行评估，我们的网络在少样本分类和分割任务上与或胜过其他先进方法。

    Jun, 2024

  • 增强旅行决策：个性化评论排名中的对比学习方法

    本文提供了一个来自知名在线旅行平台的新颖的真实客户评论数据集，总计超过 200 万条评论来自 5 万个不同的住宿场所。并且，我们提出了一种创新的个性化评论排序方法，该方法采用对比学习来复杂地捕捉评论与其相关评论者的情境信息之间的关系。通过全面的实验研究，我们证明我们的方法在所有报告的指标上超过了几个基准线。通过比较分析，我们展示了我们的方法在提升个性化评论排序中的有效性。我们的研究的意义超越了旅行领域，在其他需要个性化评论排序的重要领域，如在线电子商务平台，也具有潜在的应用。

    Jun, 2024

  • 面向成千上万种语言的鲁棒语音表征学习

    我们提出了 XEUS，一种用于普适语音的跨语言编码器，通过对来自 4057 种语言的超过 1 百万小时数据进行训练，将 SSL 模型的语言覆盖范围提高了 4 倍，并在多项基准测试中展现出优于或与最先进的 SSL 模型的可比结果。

    Jun, 2024

  • 扩散模型与表征学习综述

    扩散模型和表示学习之间的相互作用进行了综述，包括数学基础、去噪网络架构和引导方法等方面，阐述了与扩散模型和表示学习相关的各种方法，并提出了对扩散模型和表示学习分类的综合概述以及现有关注点和潜在研究领域。

    Jun, 2024

  • 基于错误学习的 LLM 教学：自动化模型改进

    该研究介绍了创新的 “LLMs 作为教师” 的框架，利用先进的大型语言模型（LLMs）自动增强较小目标模型的训练。采用 “学习错误” 理论启发，该框架使用教师 LLM 细致分析目标模型中的具体错误，促进有针对性和高效的训练周期。通过 “学习错误” 和 “对比学习从错误中学习”，该框架实施了两种策略，分别关注错误响应以个性化训练数据，并分析正确和错误响应以更深入理解错误。使用多个开源模型进行的实证研究表明，在数理推理、编码能力和事实知识等多个基准测试中都取得了显著的改进。值得注意的是，改进后的 Llama-3-8b-Instruction 的表现超过了 ChatGPT，证明了我们方法的有效性。通过充分利用两种策略的优势，我们在领域内外基准测试上获得了更加平衡的性能提升。我们的代码可在此 https URL 找到。

    Jun, 2024

  • InfoNCE: 理论与实践之间的差距辨识

    在对比学习中，我们提出了 AnInfoNCE，它能够在现实场景中揭示潜在因素，并广义上推广了以往的可识别性结果。我们的控制实验验证了我们的可识别性结果，并展示了在 CIFAR10 和 ImageNet 中恢复先前已经损失的信息的能力，但同时降低了下游任务的准确度。此外，我们还探讨了理论假设与实际实现之间的进一步不匹配，包括对硬性负样本挖掘和损失集合的扩展。

    Jun, 2024