unsupervised contrastive learning | BriefGPT

关键词unsupervised contrastive learning

搜索结果 - 17

2024 年第五届 CLVISION 挑战赛冠军解决方案
我们介绍了应对第五届 CLVision 挑战赛的方法，该赛事存在传统类别增量学习之外的独特挑战，包括先前遇到的类别的循环出现以及可能包含未标记数据的分布外类别。我们的方法基于赢得子网络，为每个任务分配独立的参数空间以解决类别增量学习中的灾难
PDF8 days ago
LLM2Vec: 大型语言模型是强大的文本编码器
我们引入了 LLM2Vec，这是一种简单的无监督方法，可以将任何解码器模型转换为强大的文本编码器，通过三个简单步骤：启用双向注意机制，掩码下一个标记预测和无监督对比学习，在英语词和序列级任务中，LLM2Vec 在词级任务上远远超过编码器模型
PDF3 months ago
DeeDSR：通过降级感知稳定扩散实现实际场景图像超分辨率
我们引入了一种新的、适应于低分辨率图像的、双阶段的、具有降级意识的框架，通过使用无监督对比学习获取图像降级的表示，并将降级意识模块集成到简化的 ControlNet 中，在各种降级情况下灵活地适应不同的降级，有效恢复更加精确和逼真的细节，表
PDF3 months ago
关于在具有硬负采样的监督和非监督对比学习中的神经和维度崩塌
对于一种广泛研究的数据模型和一般损失和样本硬化函数，我们证明了监督对比学习（SCL）、强制对比学习（HSCL）和无监督对比学习（UCL）的风险在表现出神经塌缩（NC）的表示下被最小化，即类别平均值形成一个等角紧框架（ETF），同一类别的数据
PDF8 months ago
半监督端到端对比学习用于时间序列分类
本文提出了一个称为 SLOTS（半监督学习用于时间分类）的端到端模型，该模型利用无标签样本和少量有标签样本来训练编码器和分类器，并使用无监督对比损失、有监督对比损失和分类损失来优化模型。通过与十种最先进的方法在五个数据集上的比较，实验结果表
PDF9 months ago
从零开始使用基于扩散的数据增强来提升无监督对比学习
通过扩散步骤，DiffAug 引入了一种新颖且高效的基于扩散的数据增强技术，以确保增强数据和原始数据在光滑的潜在空间中共享，从而通过无需标签、外部数据 / 模型或先前知识的约束来提高图像分类和聚类准确性，可适用于视觉和生物领域。
PDF10 months ago
基于癌症多组学数据的多头注意机制学习癌症新亚型和治疗
我们提出了一个基于注意力机制的无监督对比学习框架（AMUCL），用于分析癌症多组学数据以识别和表征癌症亚型。其中，基于多头注意力机制的 DMACL 模型用于学习多组学数据特征和聚类，并识别新的癌症亚型。通过计算特征空间和样本空间中样本之间的
PDFa year ago
基于对比学习的跨域特征增强的零样本态度检测
本文提出了一种站立检测方法，该方法利用语法表达式模式来捕获可转移的知识，可以有效地适应未见目标，最终采用注意机制来预测先前未见目标并在四个基准数据集上表现出高于竞争基线的效果。
PDF2 years ago
3D 蛋白质结构的对比表示学习
本文介绍了一种利用无监督对比学习来学习有意义的蛋白质结构表示的框架，其利用蛋白质数据银行中的蛋白质，展示了这些表示可以用于解决多种任务，如蛋白质功能预测、蛋白质折叠分类、结构相似性预测和蛋白质配体结合亲和力预测。此外，作者还表明，使用该算法
PDF2 years ago
ACLDiffCSE：基于差异的对比学习用于句向量
本文介绍了 DiffCSE，一个无监督的对比学习框架，可以学习敏感于原始句子和编辑后句子之间差异的句子嵌入，通过朴素的掩码和掩码语言模型中的采样获得编辑后的句子，证明了 DiffSCE 是一种等变对比学习，并在语义文本相似性任务中取得了超越
PDF2 years ago
ICLR无监督对比学习中的任意毒化攻击
本文针对无监督对比学习中的不分靶标数据污染攻击进行了研究。该研究首次提出了 Contrastive Poisoning，这是一种破坏性最强、最具一般性的不分靶标攻击方式。同时针对这种攻击，提出了一种基于矩阵填充的新型对策。实验证明，强调数据
PDF2 years ago
ICCVDetCo: 无监督对比学习物体检测
DetCo 是一种创新的对比学习方法，通过充分探索全局图像和局部图像补丁之间的对比，学习有助于目标检测的判别性表示，实验表明其不仅在目标检测方面优于现有方法，在分割，姿态估计和三维形状预测方面也显著优于监督方法。
PDF3 years ago
CVPR理解对比损失的行为
本文研究了无监督对比学习中对比损失的行为特性，发现一种均匀性与相似性之间的权衡关系，通过调节温度参数可以达到学习可分离特征和容错相似样本的效果。
PDF4 years ago
EMNLP通过对比学习无监督无参考摘要质量评估
本研究提出了一种基于 BERT 的新度量方法，通过无监督对比学习，评估文档摘要的质量，并且证明了该方法可以在没有参考摘要的情况下胜过其他指标。
PDF4 years ago
医学视觉表征的对比学习：来自成对图像和文本
使用自然组合描述文本，无需人工标注医学图像，通过双向对比目标的方法，使用 ConVIRT 进行预训练的医学图像编码器，将与医学图像配对的文本数据结合起来，极大地提高了数据使用效率。
PDF4 years ago
LoCo: 本地对比度表示学习
本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题，提出了一种新的解决方案，即将本地块重叠并堆叠在一起以增加解码器深度，并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征
PDF4 years ago
Class2Simi: 从噪声降噪的角度看待带有噪声标签的学习
本文提出了一种叫做 Class2Simi 的框架，通过将带有噪声类标签的数据点转化为带有噪声相似性标签的数据对，在这个转化过程中理论上有噪声率的降低，从而更容易处理带有噪声相似性标签的情况，并验证其效果。
PDF4 years ago