contrastive losses | BriefGPT

关键词contrastive losses

搜索结果 - 12

CVPRHENASY: 学习组装场景实体的视角自述视频语言模型
视频 - 语言模型（VLM），是在大规模视频字幕数据集上进行预训练的，现在已成为强大的视觉 - 语言表示和下游任务的标准。然而，它们依赖全局对比对齐的方式限制了其捕捉视觉和文本元素之间细粒度交互的能力。为了解决这些挑战，我们介绍了 HENA
PDFa month ago
CXR-CLIP：大规模胸部 X 光照片语言 - 图像预训练
本文研究了利用大规模图像 - 文本配对数据集进行视觉语言预训练模型的发展，解决医疗领域中缺乏数据的问题，并通过扩展图像 - 标签对为图像 - 文本对，利用多个图像和多个部分的放射学报告来提高模型性能。同时设计了两个对比损失，ICL 和 TC
PDF8 months ago
ZeroForge: 无需 3D 监督的前向文本到形状
本文介绍一种名为 ZeroForge 的零样本学习方法，可避免依赖标记的 3D 形状数据集和推断时间昂贵的隐式神经表达优化，通过结合 CLIP-loss 和对比损失等技术，扩大了现有前馈文本到形状模型如 CLIP-Forge 的生成能力，并
PDFa year ago
CVPR双重对比损失的多模态摘要生成：Align and Attend
介绍了一种基于 transformer 的模型：Align and Attend Multimodal Summarization (A2Summ)，可以处理不同模态的输入。作者提出了两种新的对比损失函数来建模不同样本间的相互关系和内部关系
PDFa year ago
ICLR无偏监督对比学习
本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。
PDF2 years ago
在实际应用中应用自监督学习，实现混合式自动语音识别
本文讨论了如何利用未经筛选的音频数据进行自监督学习，在数据预处理到部署流式混合语音识别模型的整个过程中研究了多种不同的预训练策略，比较了近期开发的对比损失，并通过实验结果表明，利用领域内未筛选数据进行自监督学习的表现比领域外其他预训练策略要
PDF2 years ago
ICLR全局和物体中心的自监督学习
本文研究了利用自监督学习获取对象集中表示的关键方面，并在 CLEVR 数据集上运行了一些实验来验证我们的见解。我们的结果表明，竞争式注意力对象发现对于学习对象集中表示非常重要。对于训练，我们证明了在潜在空间中应用具有匹配性的对比损失，避免了
PDF2 years ago
CVPR三重对比学习视觉语言预训练
本研究提出了一种名为 TCL 的视觉 - 语言预训练三重对比学习框架，通过交叉模式对齐和内部模态自我监督来提高学习的代表性，并通过最大化图像 / 文本局部区域与全局摘要之间的平均互信息，取得了在图像 - 文本检索和视觉问答等任务中的优异表现
PDF2 years ago
TriCoLo: 用于精细文本形状检索的三模态对比损失
本文采用大批量对比学习的方法，提高不同模态数据的联合嵌入效果，实现超越先前文献的文本形状检索；同时，提出了三模态学习方案以更好地表示所有模态。
PDF2 years ago
利用 TupleInfoNCE 进行对比多模态融合
本文提出了一种使用对比损失进行多模态数据表示学习的方法，在传统方法中，对比不同模态以学习它们之间共享的信息常常会忽略弱模态，因此我们提出了一种新颖的对比学习目标 “TupleInfoNCE”，它不仅基于正负对应关系并且使用多种不同的场景描述
PDF3 years ago
视觉表征学习的多模态对比训练
通过同时利用内部数据属性和跨模态关联的语义信息，开发了一种学习视觉表示形式的方法，其中包括多种类型的对比损失，从而提高了学习到的视觉表示的质量。该方法在 COCO 数据集上进行训练，可以被用于图像分类、目标检测、实例分割等下游任务，并在 I
PDF3 years ago
VATT：用于原始视频、音频和文本的多模态自监督学习的 Transformer 模型
我们提出了一种使用无标签数据学习多模态表示的框架，利用无卷积的 Transformer 架构。通过使用多模态对比损失训练 Video-Audio-Text Transformer (VATT)，我们从三个模态中提取丰富的多模态表示，并在视频
PDF3 years ago