- 用 Transformer 进行的多目标追踪的对比学习
通过引入实例级对比损失、修订的采样策略和轻量级分配方法,我们展示了如何将 DETR 转化为 MOT 模型,学习目标的外观并保留检测能力,其性能在具有挑战性的 BDD100K 数据集上超过了先前的最新技术水平 2.6 mMOTA,并在 MOT - 始终晴朗的日子:意识到退化类型和严重程度的一体化逆境天气消除
提出了一种名为 UtilityIR 的基于退化类型和严重程度感知的模型,用于盲目进行全方位恶劣天气图像恢复,该方法在不同的天气恢复任务上,在客观和主观上都能明显超过其他方法,并拥有更少的模型参数。
- BEVContrast:汽车激光雷达点云 BEV 空间的自我监督
我们提出了一种简单而高效的自监督方法,用于汽车激光雷达点云的 3D 主干。我们在相同场景中捕获的激光雷达扫描的特征之间设计了对比损失。在 Bird's Eye View 平面的 2D 单元格级别上定义的对比度提供了 PointContras - 利用类内相关正则化学习可重复的语音嵌入
使用机器学习任务的有好的监督嵌入仅对所感兴趣的标签的变化敏感,并对其他混淆因素保持不变。我们利用测量理论中的重复性概念来描述这个属性,并建议使用类内相关系数 (ICC) 评估嵌入的重复性。然后,我们提出了一种新颖的正则化器,即 ICC 正则 - 跨特征对比损失:异构数据上的分散式深度学习
本研究提出了一种基于异构数据的去中心化学习新方法,通过利用对比损失上的无数据知识蒸馏来提高性能,并通过大量实验证明了该方法在不同计算机视觉数据集、模型架构和网络拓扑中相比其他现有技术在异构数据的去中心化学习中实现了卓越的性能(测试准确率提升 - EMNLP基于对比学习的句子编码器隐式加权信息词汇
通过对比损失的简单调优,句子编码器的性能可以得到显著提高。本文理论上和实验上展示出,在对比学习过程中模型获得了怎样的特征,即基于信息论的数量对词汇进行隐式加权。本文还使用多种模型、多个数据集、两种度量模型隐式加权的方法(集成渐变法和 SHA - PREM:一种简单而有效的用于节点级图异常检测的方法
通过 PREprocessing and Matching (PREM) 方法,我们简化了节点级图异常检测(GAD),减少了时间和内存消耗,并且在维持强大的异常检测能力方面取得了成功。
- AAAI基于原子模式对比变压器的分子性质预测
提出了一种新颖的 Atom-Motif Contrastive Transformer (AMCT) 模型,用于分子性质预测任务。该模型不仅探索了原子级别的相互作用,还考虑了分子中关键图案(e.g., 功能基团)之间的相互作用,并在学习框架 - EMNLP基于连续词大小的音频令牌的生成式口语模型
基于连续值音频嵌入的生成式口语语言模型(GSLM)通过引入词大小连续嵌入函数、对比损失和 k-NN 采样,取得了多样性和富有表现力的语言生成;该模型与离散单元 GSLM 在生成质量方面表现相当,同时内存效率提高了五倍;此外,词嵌入前后的嵌入 - TalkNCE:利用 Talk-Aware 对比学习改进主动说话者检测
通过探索网络架构,以及使用自然语音与面部动作之间的对应进行学习,我们提出了一种新颖的 TalkNCE 对比损失函数,可用于主动说话者检测任务,无需额外的监督或训练数据,可以与现有的主动说话者检测模型在 AVA-ActiveSpeaker 和 - 对比 - 生理+:基于时空对比的无监督和弱监督视频远程生理测量
视频远程生理测量是利用面部视频测量血容量变化信号,也称为远程光电容抗 (PRP)。本文提出了一种名为 Contrast-Phys + 的方法,可以在无监督和弱监督设置下进行训练。我们使用 3D 卷积神经网络模型来生成多个时空 PRP 信号, - 基于对比损失的离线手写签名验证模型的白盒误报对抗攻击方法
本文提出了一种新颖的攻击方法,将攻击视为相关但不同书写风格之间的风格转换,通过引入两个新的损失函数来指导欺骗性图像的生成,从而提高成功攻击率并确保最小扰动;我们的方法在白盒攻击的离线手写签名验证模型中表现出卓越的性能。
- ICCVCTVIS:在线视频实例分割的一致训练
在线视频实例分割的一项研究提出了一种名为 CTVIS 的训练策略,通过构建对比项和加入噪声来增强实例嵌入的区分度,从而解决了遮挡、重新识别和形变等实例分割挑战,并在三个 VIS 基准测试中超过了其他方法。
- 对比视觉语言细粒度理解中的同模态句式和排名跨模态硬负例
为了解决 Vision and Language Models 对于细致的理解和 fine-grained 任务的挑战,本研究提出一种基于 intra-modal 和 cross-modal rank loss 的策略,该策略不需要额外的注 - 揭示对比学习中的投影头:来自扩张与收缩的洞见
本篇论文旨在揭示对比学习过程中 projection heads 作用的原理,通过实验和理论分析认定对比损失产生的膨胀和收缩效应会影响线性分类的准确性,因此 linears projectors 操作在缩小或者扩张的情况下会妨碍或是提高下游 - ACLClick: 带有序列似然对比学习的可控文本生成
本文提出了一种名为 “Click” 的可控文本生成方法,不需要修改模型架构,利用序列似然的对比损失和新颖的似然排名策略,能够在有毒语言、情感倾向和文本重复等方面相比其他控制型生成模型有更好的性能。
- 从用户 - 会话 - 项目的分层结构中学习相似度,用于个性化会话推荐
本文提出了一种基于 Graph Neural Network 的个性化 Session-Based Recommendation 模型,该模型通过建立 UserGraph 并运用对比损失函数和用户嵌入相似性来实现多用户之间信息交互以及提高推 - 使用语言改写改善 CLIP 训练
本文提出了一种名为 LaCLIP 的新方法,通过语言重写增强 CLIP 的训练,具有语料丰富度高的特点,不需要额外的计算或内存负载,实现较高的图像 - 文本转移性能。
- 基于语义角色标注的脱离分布检测
本文提出了一种基于语义角色标注(SRL)的全局 - 局部特征学习方法 SRLOOD,运用边缘对比损失,将不同参数最细的局部特征和全句的全局特征分离、提取和学习,同时引入自监督学习,该方法在四个 OOD 基准测试中取得了 SOTA 效果。
- ICML并非所有的语义都是平等的:自对比学习与自动温度个性化
本文提出了一种用分布鲁棒优化方法系统地优化具有个性化温度对比损失的自监督学习的方法,该方法基于数据分布特点,对超参数进行了自动调整,并在实验中表现出优于已有方法的性能。