Feb, 2024

CLAP: 利用自然语言监督学习可转移的二进制码表示

PDF
TL;DR利用对二进制代码进行对比学习，提高其在迁移学习中的性能，通过对齐二进制代码和自然语言解释来生成更好的嵌入表示，而无需特定任务的训练。
binary code representation learningclaptransfer learningalignment trainingdownstream tasks
发现论文，激发创造
  • CLAP：从自然语言监督中学习音频概念

    提出一种基于自然语言监督学习的音频概念学习方法 CLAP，通过两个编码器和对比学习将音频和文本描述连接到多模态空间中，从而实现了零样本性能，其具有无需使用类别标签进行训练、预测灵活度高、具有多个下游任务通用性等优点。

    Jun, 2022

  • tinyCLAP：压缩对比式语音 - 文本预训练模型

    研究通过减少数据和计算复杂性来降低对比性语言音频预训练模型的复杂性，得到一个高效模型 ——tinyCLAP，该模型仅使用原 Microsoft CLAP 参数的 6％，在测试的三个声音事件检测数据集上，零样本分类性能仅降低不到 5％。

    Nov, 2023

  • T-CLAP：时间增强对比语言 - 音频预训练

    使用大型语言模型和混淆策略生成音频剪辑的时序对比性描述，并设计新的时序对比损失函数来改进对比性语音 - 文本预训练模型 (T-CLAP)，结果在多个下游任务中显示出更强的捕捉音频事件时序关系的能力并显著超越了最先进的模型。

    Apr, 2024

  • 无处不在的监管：一种数据高效的对比语言图像预训练范式

    本文提出一种用于 Contrastive Language-Image Pre-training (CLIP) 的新的训练方法，Data efficient CLIP (DeCLIP)，通过充分利用图像 - 文本对之间的广泛监督来更有效地学习通用视觉特征，在使用较少数据的情况下实现 60.4% 的零样本 top1 准确率，并在转化到下游任务时优于常规 CLIP 模型。

    Oct, 2021

  • 大型视觉语言模型的少样本自适应研究

    通过引入适应真实场景需求的新方法，我们综合评估了一个广泛的数据集和场景，发现其在实践中始终优于现有技术，同时作为更高效的替代方案。

    Dec, 2023

  • 民主化对比语言 - 图像预训练：一个数据、模型和监督的 CLIP 基准

    本文提出 CLIP-benchmark，对 CLIP 及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高 CLIP 性能。

    Mar, 2022

  • CLASP：用于语义解析的少样本跨语言数据增强

    本研究提出 CLASP 方法，利用合成数据从 AlexaTM 20B 中挖掘出更多的数据，用以改善低资源的语义解析，实现在多国语言上的有效应用。

    Oct, 2022

  • 探索面向代码生成模型的持续学习

    本文介绍了一种名为 CodeTask-CL 的新颖基准测试，针对静态代码生成等多样的编码任务，比较了 NLP 和 Vision 领域中的几种不同的 Continual Learning 技术，提出了一种名为 Prompt Pooling with Teacher Forcing（PP-TF）的新的稳定训练的技术，取得了 21.54% 的改进效果，为大规模编码体系中的 Continual Learning 方法的进一步发展提供了支持。

    Jul, 2023

  • BLIP: 为实现统一的视觉语言理解与生成，引入语言 - 图像引导预训练

    本文提出了 BLIP 作为新的 VLP 框架，通过引入 captioner 生成合成字幕，并使用 filter 删除噪音数据，能灵活地传输视觉语言理解和生成任务，获得了在一系列视觉语言任务中最先进的结果，同时在零样本任务中也表现出极强的泛化能力。

    Jan, 2022

  • 基于概率微调的视觉 - 语言模型连续学习

    我们的研究提出了 Continual LeArning with Probabilistic finetuning (CLAP) 方法，该方法运用概率建模技术，通过预训练模型的丰富知识进行可靠的细调，用于连续学习任务，并在不确定性估计上展现出更强的能力。

    Mar, 2024