multimodal contrastive learning | BriefGPT

关键词multimodal contrastive learning

搜索结果 - 12

通过联合示例选择进一步加速多模态学习
数据策展是大规模预训练的重要组成部分。本文中，我们证明了联合选择数据批次比独立选择示例更有效，并且多模态对比目标揭示了数据之间的依赖关系，从而自然地产生衡量批次联合可学习性的标准。我们推导出一种简单易行的选择这类批次的算法，通过它可以明显提
PDF9 days ago
BDetCLIP：多模态提示对照测试时后门检测
通过对类描述文本和图像之间的余弦相似度分布差异进行对比，我们提出了 BDetCLIP，一种用于检测植入后门样本的创新测试时间后门检测方法，该方法相对于现有的后门检测方法在效果和效率方面都具有优势。
PDFa month ago
全球对比训练与语言监督下的多模态电子健康记录
现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列
PDF3 months ago
去学习后门威胁：通过本地令牌去学习增强多模态对比学习的后门防御
不同模态对比学习在构建高质量特征方面具有很大的潜力，但其开放性意味着可能遭受后门攻击。本文从模型遗忘的角度探讨了一种防御机制，即通过构建一小组有毒样本，迅速消除后门威胁。实验结果表明，该方法不仅能保证攻击的成功率最小化，还能保持模型的高准确
PDF3 months ago
BadCLIP: 多模态对比学习的双嵌入引导后门攻击
本文介绍了一种名为 oolns 的抵抗后门检测和模型优化防御的攻击，通过基于贝叶斯规则的双嵌入引导框架，在自然触发模式中实现了视觉触发模式的文本目标语义近似，并通过优化视觉触发模式与目标视觉特征的一致性对目标样本进行了污染，证明其对现有的后
PDF7 months ago
多模式对比学习对分布偏移的鲁棒性
通过分析多模态对比学习 (MMCL) 方法，我们揭示了其在学习鲁棒表示方面的两种机制：类内对比机制和跨类特征共享机制，这两种机制防止了训练数据中过度呈现的虚假特征对通用核心特征的影响，从而在分布偏移下实现了更优的零样本分类精度。
PDF9 months ago
多模态对比学习和表格注意力模型在自动化阿尔茨海默病预测中的应用
提出了一种通用的多模态对比学习框架，用于结合图像数据和表格数据，通过新颖的表格注意模块增强和排名表格中突出特征，并应用于阿尔茨海默病预测，实验证明了该框架的有效性。
PDF10 months ago
MMAdvCLIP：多模态对比学习中与下游无关的对抗样本
使用 AdvCLIP 构建通用的对抗例子，用于欺骗继承了受害交叉模态预训练编码器的所有下游任务，以实现跨模态图像文本检索和图像分类等复杂任务的非目标攻击。
PDFa year ago
EMNLP多模态 Transformer 上的自适应对比学习用于评论有用性预测
本研究旨在提高现代评论有用性预测系统的性能，提出了一种基于多模态对比学习的方法，聚焦于输入模态之间的信息，提高了跨模态关系的显式表达，并引入自适应加权策略以提高优化的灵活性，同时提供了多模态交互模块以解决多模态数据的分布不一致问题，实验证明
PDF2 years ago
ECCV通过自监督的时间延迟估计实现声音定位
该研究提出了使用自我监督的对比随机游走技术来学习立体声音频的对应关系，进而实现对声音的时间延迟估计，同时提出了一种多模态对比学习模型，可应用于特定人员在多扬声器混音情况下的面部视觉定位任务。
PDF2 years ago
CoCoSoDa: 代码搜索的有效对比学习
本文提出了 CoCoSoDa 的方法，充分利用了对比学习进行代码搜索方面应用的两个关键因素：数据扩充和负样本。该方法使用软数据扩充技术生成正样本，使用动量机制生成一致的负样本表示，使用多模式的对比学习方法，既拉紧了代表代码 - 查询对的表示
PDF2 years ago
对比学习的中毒和后门攻击
研究指出多模态对比学习方法训练在无噪声且未分类的数据集上可能导致后门和毒化攻击成为重要的威胁。通过少量的毒化数据，可以影响模型分类测试图片的准确性，这显然会影响训练数据集的质量。
PDF3 years ago