saliency scores | BriefGPT - AI 论文速递

关键词saliency scores

搜索结果 - 7

ICCV音视频扫视网络用于高效视频识别
通过利用音频和视觉模态在视频中高效处理时空重要部分，我们提出了一个名为 AVGN 的音视频感知网络，通过划分视频片段并使用轻量级单模态编码器和音频增强的空间块注意模块，实现了更高效的视频识别。同时结合多种训练技术和多模态特征融合，我们的 A
PDFa year ago
MH-DETR: 跨模态变换器进行视频片段和精华片段检测
提出了面向视频时刻和精彩片段检测的 MH-DETR 模型，其采用简单而高效的池化操作和跨模态交互模块，以获得更好的时序内模态上下文和跨模态特征。在多个数据集上的实验结果表明，MH-DETR 优于现有的最先进方法，具有较高的准确性和鲁棒性。
PDFa year ago
ICLRSalientGrads：稀疏模型用于通信高效和数据感知的分布式联邦训练
使用 Salient Grads 方法基于客户端数据计算模型参数显著性分数，并选择 “数据感知” 亚网络进行训练，仅在训练过程中通过传输高度稀疏的梯度，在解决联邦学习中的计算和通信瓶颈方面表现出良好的效果，具有可行性和实用性。
PDFa year ago
QVHighlights: 通过自然语言查询识别视频中的时刻和亮点
本篇研究提出了基于问题的视频亮点（QVHIGHLIGHTS）数据集，用于开发和评估系统以检测有关时刻以及突出亮点，同时使用 Moment-DETR，一个转换器编码器 - 解码器模型，将时刻检索视为直接预测问题，并且在利用 ASR 注释和进行
PDF3 years ago
EMNLPMSD: 多模态理解中的显著性感知知识蒸馏
研究对知识蒸馏在多模态数据集上的应用，提出了一种多模态知识蒸馏框架 MSD，其中引入辅助损失项和基于显著度得分的加权方案以及基于权重学习的方法，实验结果表明 MSD 比 KD 在四个多模态数据集上表现更好。
PDF3 years ago
文本分类可解释性技术的诊断研究
本文评估了不同的解释方法及其对神经网络和文本分类任务的影响，发现梯度基础的解释方法在不同任务及神经网络结构中表现最佳。
PDF4 years ago
MMCTR 预测中深度神经网络的可视化与理解
本文采用深度学习技术实现 Click-through rate（CTR）预测，并采用神经元级别检查模型内部状态，实施逐层性能测量探针方法，以及基于反向传播梯度的显著性分数计算来计算特征的影响。该模型可用于理解，监视，诊断和改进模型和算法的多
PDF6 years ago