pre-trained encoders | BriefGPT

关键词pre-trained encoders

搜索结果 - 13

基于互信息引导的事先训练编码器后门缓解
本文提出了一种名为 MIMIC 的互信息引导的后门缓解技术，通过知识蒸馏从潜在后门编码器中提取干净的学生编码器，以减轻后门攻击并同时保持编码器性能。在自我监督学习中对两个后门攻击进行的评估表明，MIMIC 可以显著降低攻击成功率，仅利用不到
PDFa month ago
COLING性别如何与政治价值互动：以捷克 BERT 模型为案例研究
通过对捷克政治性偏见进行案例研究，本论文介绍了一种新的方法来衡量神经语言模型的政治价值观，发现 BERT 大小的模型与政治价值观没有系统的一致性，模型中观察到的偏见更多是对训练数据模式的表面模仿，而非系统的价值信仰。
PDF3 months ago
精细、区别和对齐：通过样本级原型和多关系提取窃取编码器
本文介绍了一种名为 RDA 的创新方法，旨在解决以前用于窃取预训练编码器的两个主要问题：(1) 由于优化目标偏差导致的亚优性能，以及 (2) 由于每个纪元都需要查询目标编码器而导致的查询成本升高的问题。
PDF7 months ago
SSL-Auth: 自监督学习中用于预训练编码器的脆弱水印身份认证框架
本研究提出了一种 SSL-Auth 方法，用于验证预训练编码器的完整性，而不损害模型性能。该方法利用关键样本作为水印信息，并训练一个验证网络来重构水印信息，从而验证编码器的完整性。通过比较关键样本的重构结果，可以有效检测恶意修改，因为修改后
PDFa year ago
插上并祈祷：利用多模态模型的现成组件
多模型系统中对抗嵌入空间攻击，特别是使用预训练编码器，可能导致上下文污染和隐藏提示注入，对系统的行为产生重大影响，因此在插拔式系统中应对其进行全面检查以确保安全性。
PDFa year ago
视觉重要性：一项新的多模态夸张语言检测数据集和实证研究
本研究聚焦于社交媒体中的多模式夸张检测，使用微博数据集，并构建了基于文本和图像的模态进行检测的 benchmark，并评估不同模型的跨领域性能。
PDFa year ago
ICLRUnicom: 用于图像检索的通用紧凑表示学习
本文研究了图像检索方法中预训练模型的应用，提出了一种基于 CLIP 模型从联合文本和视觉特征提取像素类描述符的方法，采用部分原型随机选择以及特征维度随机选择的方法来提高特征表示和冲突鲁棒性，最终在多个基准测试中取得了超过现有方法的性能表现。
PDFa year ago
CVPR检测预训练编码器中的后门
本文提出了 DECREE，是第一个用于预训练编码器的后门检测方法，无需分类器头或输入标签，并通过对 400 多个遭受三种范式攻击的编码器的评估，在 ImageNet 和 CLIP 400 百万图像文本对上，我们的方法一致具有很高的检测准确性
PDFa year ago
使用模态专用的大规模预训练编码器进行多模态情感分析
本文研究了多模态情感分析中使用具有模态感受的大规模预训练编码器的有效性和实现。通过实验比较了在视觉、声学和语言感受模态下最大的预训练编码器和传统的启发式特征后，得出领域专用预训练编码器比常规特征在单模态和多模态情况下性能更好的结论。
PDF2 years ago
ACLMCSE: 句子嵌入的多模态对比学习
本文提出了一种基于多模态对比目标的句子嵌入学习方法，利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能，并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。
PDF2 years ago
SSLGuard：自我监督学习预训练编码器的水印方案
本文提出了 SSLGuard—— 首个用于对预训练编码器进行水印的方案，并使用影子训练技术来保护水印免受模型盗窃等攻击。实验证明，SSLGuard 能有效地进行水印注入和验证，并对模型盗窃及其他攻击具有鲁棒性。
PDF2 years ago
MMStolenEncoder 自监督学习中的预训练编码器盗窃
本文提出了一种名为 StolenEncoder 的攻击方法，通过该方法可以以比从头开始训练更短的时间和资源窃取目标编码器，本文还探究了三种抵御此攻击的方法。
PDF2 years ago
ZEN 2.0: N-Gram 增强文本编码器的继续训练和适应
本研究提出了使用大规模数据和先进技术针对 n-gram 的预训练编码器，并成功将其拓展到不同语言和领域中，得到了在多项 NLP 任务中表现优异的结果。
PDF3 years ago