contrastive training | BriefGPT

关键词contrastive training

搜索结果 - 16

医学表征学习的视觉 - 语言对比方法的基准评估
我们在医学领域中对比了多模式表示学习的综合性基准测试。通过这项研究，我们旨在回答以下研究问题：（i）通用领域表示对医学领域有多大的可转移性？（ii）多模式对比训练是否足够，还是还需要单模态训练的益处？（iii）特征粒度对多模式医学表示学习的
PDF21 days ago
NV-Embed: LLM 训练通用嵌入模型的改进技术
通过引入各种架构设计和训练过程，NV-Embed 模型显著提高了 LLM 作为多功能嵌入模型的性能，同时保持其简单性和可重现性，并取得了 69.32 的记录高分，在包括检索、重排序、分类、聚类和语义文本相似性任务在内的 56 个任务中名列第
PDFa month ago
COFT-AD：对少样本异常检测的对比微调
在本研究中，我们提出了一种新的方法来解决少样本异常检测（FSAD）的挑战，该方法包括使用预先训练的模型初始化权重，采用对比性训练来优化少样本领域数据，以及使用正样本对齐和负样本分离等技术来学习适合于异常检测的表示。我们对 3 个受控异常检测
PDF4 months ago
视觉语言表示学习中的展示和减少快捷方式
基于对比训练的视觉语言模型主要依赖于学习图像和标题的通用表示。本文提出了一种新的训练和评估框架，注入了合成的快捷方式来减少学习中的难度和挑战，以改善对比视觉语言表示学习的性能。
PDF4 months ago
通过检索引导的对比学习改进恶意模因检测，学习具有恶意感知能力的嵌入空间
我们提出使用检索引导的对比训练构建一种恶意感知的嵌入空间，以解决现有基于 CLIP 的系统的嵌入空间对于正确恶意分类所需的微小差异缺乏敏感性的问题，并展示了一种基于检索的恶意违规表情包检测系统，该系统能够根据未在训练中见过的数据进行恶意分类
PDF8 months ago
CWCL：使用持续加权对比损失进行跨模态迁移
本文探讨了交叉感知培训中的对比训练，其中一个模态的预训练模型通过成对的数据用于学习另一个领域的表示学习。采用连续加权对比损失（CWCL）的本文提出了一个新的损失函数，通过连续相似性度量来对齐嵌入空间。在 0-shot 图像分类、0-shot
PDF9 months ago
SwinDocSegmenter：一种端到端的统一领域自适应变压器用于文档实例分割
本文提供了一个用于端到端的文档图像中的复杂布局的实例级分割的统一 Transformer 编码器 - 解码器架构，并且在对 PubLayNet，PRIMA，Historical Japanese（HJ）和 TableBank 等竞争基准的广
PDFa year ago
概率对比学习恢复模糊输入的正确 Aleatoric 不确定性
该研究提出了一种基于分布预测的信息最大化方法，用于比较训练编码器的逆向重建任务，并且可以根据图像检索任务的不确定性估计出可信区间.
PDFa year ago
弱监督对比预训练的文本嵌入
本文提出了 E5 模型，通过对弱监督的大规模文本对数据集（CCPairs）的对比训练，得到一种最先进的文本嵌入模型，可用于检索、聚类和分类等任务，表现出色并具有迁移性。在 BEIR 和 MTEB 数据集上进行广泛评估，E5 在零样本和微调设
PDF2 years ago
PART: 预训练的作者表示转换器
提出 PART: 一种对比训练的模型，用于学习作者嵌入，以确定文本的专有权通过评估所述文件的余弦相似性，用于文学作品、匿名博客帖子和公司电子邮件的作者识别的零炮验证，并在可用数据集的不同数据可视化下定性评估表征。
PDF2 years ago
ICML无监督时间序列表示学习：基于迭代双线性时域谱融合
本研究提出了一种用于无监督 / 自监督时间序列表示学习的统一框架 BTSF，并通过使用实例级别数据增强和双线性时间 - 频谱融合等技术，优化目标函数，实现了对时间序列分类、预测和异常检测等多个任务的显著性能提升。
PDF2 years ago
EMNLP使用双边对比数据进行问题答案对排序的学习
本论文提出一种新颖简单的数据增强策略 ——Bilateral Generation（BiG），并设计了一个对比训练目标来提高现有标记数据中排名问题答案对的性能，通过使用两个预训练生成模型，即问题生成器和答案生成器，与原始负 QA 对形成假正
PDF3 years ago
IJCAIRetCL：对比学习的基于选择的反合成方法
本文提出一种名为 RetCL 的高效的 Reactant 选择框架，采用图神经网络计算选择的分数，并提出一种新颖的对比训练方案，用于学习这些分数函数，实现了在反应模板、稳定性和可购买性方面综合考虑反应物组合，获得了良好的准确性和泛化性能。
PDF3 years ago
AAAI基于生成式 Transformer 的对比三元抽取
本文介绍了一种使用对比训练和生成式变换器的三元组抽取模型，采用单共享变换器模块，使用新颖的三元组对比训练目标生成准确结果，并提出了批动态注意遮盖和三元组校准机制来进一步提高模型性能，在实验结果中，我们的方法与基线相比表现更优。
PDF4 years ago
改进的外部分布检测对比训练
本文介绍了一种利用对比性训练来提高机器学习系统检测异常数据输入的方法，通过引入和使用混淆对数概率得分来量化数据集的内离散度，作者证明了这种方法在 “近 OOD” 类的性能较先前方法有所提高。
PDF4 years ago
CVPR注意力 RPN 和多关系检测器的小样本目标检测
本文提出一种新的 few-shot 目标检测网络，使用少量注释的示例检测未见过的物体类别，并通过 Attention-RPN，Multi-Relation Detector 和 Contrastive Training 策略来抑制背景误检。
PDF5 years ago