基于组合知识转移的长尾识别

CVPRDec, 2021

Long-tail Recognition via Compositional Knowledge Transfer

Sarah Parisot, Pedro M. Esperanca, Steven McDonagh, Tamas J. Madarasz, Yongxin Yang...

TL;DR本研究提出了一种新的长尾识别策略，通过无需训练的知识迁移实现尾部类别的少样本问题，利用类原型和学习的余弦分类器的互补特征向量，使用注意力机制将普通类别的学习分类器特征选择和重组，为稀有类别提供更高质量的表示，实现了对新类别的不断扩展，并在保持稳健公共类性能的同时，在稀有类别上实现了显著的性能提升，胜过了可直接比较的现有最先进模型。

Abstract

In this work, we introduce a novel strategy for long-tail recognition that addresses the tail classes' few-shot problem via training-free knowledge transfer. Our objective is to transfer knowledge acquired from i

long-tail recognition few-shot problem knowledge transfer class prototypes attention mechanism

发现论文，激发创造

全局 - 局部关注机制的关系分类

本文介绍了一种新颖的全局 - 局部注意机制用于关系分类，通过将全局注意力与局部关注度相结合来提升全局关注度。此外，我们提出了创新的硬与软定位机制，以识别局部注意的潜在关键字。通过同时融入硬和软定位策略，我们的方法对有效关系分类的语境线索提供了更加细致全面的理解。我们在 SemEval-2010 任务 8 数据集上的实验结果显示了我们的方法相对于前期关注机制的优越性能。

Jul, 2024

训练事实验证器的方法：多模态开放模型的知识传递

通过知识传递策略，可以提高模型性能，从而有效验证消息的真实性，扩大网络警察机制的规模，减轻虚假和有害内容的传播。

Jun, 2024

一个用于双模态情感分类的简单基于注意力机制

在本文中，我们提出了基于双模态深度学习结构和注意力机制的情感分类方法，使用文本和语音数据进行训练和测试，并报告了不同结构的详细细节和性能分析结果。研究结果表明，使用不同类型数据（文本和语音）训练的深度学习结构优于仅使用文本或语音训练的结构，并且我们提出的基于注意力机制的双模态结构在情感分类中优于现有的系统。

Jun, 2024

AstMatch：用于半监督医学图像分割的对抗自训练一致性框架

在本研究中，我们提出了一种对抗自我训练一致性框架 (AstMatch)，通过设计对抗一致性正则化方法增强知识传递，并在不同扰动强度下增强预测一致性，应用特征匹配损失进行对抗训练以获得高层一致性正则化，并引入金字塔通道注意力和高效通道空间注意力模块改进鉴别器性能，在众多半监督学习方法和三个公开数据集上进行广泛评估实验结果显示，AstMatch 的表现优于现有方法，达到了新的最优性能。

Jun, 2024

一位教师胜过百万句指令

我们提出了一种改进的训练方法，使用更大的模型的知识来提高大型语言模型的训练效果，同时利用领域专家模型进行领域对齐，通过这种方法，在性能上超过了具有更大参数数量的现有语言模型。

Jun, 2024

学它或者离开：模块组合与修剪的连续学习

MoCL-P 是一种轻量级的持续学习方法，通过任务表示引导模块组合和自适应修剪，同时解决避免灾难性遗忘、促进知识转移和保持参数效率等持续学习中的挑战，且在三个持续学习基准测试中达到了最优性能，提高了参数效率，展示了在资源受限的实际应用中的潜力。

Jun, 2024

跨领域推荐系统中的双曲知识传输

本研究介绍了一种名为 HCTS 的新框架，用于捕捉不同领域的独特特征，实现领域间的高效知识传递，并通过将用户和物品分别嵌入不同具有可调节曲率的双曲流形来预测，从而改善目标领域用户和物品的表示。实验结果表明，双曲流形对于跨领域推荐任务是一种有潜力的替代方案。

Jun, 2024

揭示和利用隐藏的注意力汇聚：通过注意力校准增强大型语言模型的性能

通过细致研究和可视化大型语言模型（LLMs）中的注意力分布，本研究发现注意力汇的存在可以通过在提取信息时实时优化的了解，从而提高 LLMs 的准确性并避免权重调整。

Jun, 2024

基于因果发现的无监督领域自适应情感因果对提取

本文提出了一个基于深度潜变量模型和变分自编码器（VAE）框架的新方法，用于在无监督域适应设置中提取情感 - 原因对。通过利用情感作为桥梁，将不同域中事件的分布联系起来，并采用变分后验正则化技术来降低源域中与事件相关的虚假相关性，从而促进跨域知识传递。通过广泛的实验证明，在中文和英文基准测试中，我们的模型的加权平均 F1 分数分别比最强基线提高了 11.05% 和 2.45%。源代码将在接受后公开提供。

Jun, 2024

深度无处不在：通过透视蒸馏和无标签数据增强提升 360 度单目深度估计

360 度图像的深度估计是虚拟现实、自主导航和沉浸式媒体应用中至关重要的，本研究提出了一种使用未标记 360 度数据的深度估计框架，通过六面立方体投影技术生成伪标签来高效标注 360 度图像的深度，并在深度估计的准确度上展示了显著改进，特别是在零样本情况下。

Jun, 2024