EMNLPDec, 2023

DemaFormer：具有能量建模的阻尼指数移动平均变压器用于时序语言基础生成

PDF
TL;DR时序语言定位是为了找出语义上与自然语言查询相对应的视频片段。该研究提出了一种基于能量的模型框架和 DemaFormer，一种新颖的基于 Transformer 的架构，用于有效地学习时序语言定位。实验证明我们的方法在四个公开的时序语言定位数据集上优于最先进的基线方法。
temporal language groundingattention mechanismenergy-based model frameworkdemaformertransformer-based architecture
发现论文，激发创造
  • 找到关注的焦点：面向事件的视频关键问题的 Transformer

    本文提出了一种事件感知的动态时刻查询方法，通过事件推理和时刻推理来预测视频中的时刻时间戳，实验证明了该方法在视频定位方面的有效性和高效性。

    Aug, 2023

  • Mega: 移动平均装备的门控注意力

    本文介绍了 Mega，这是一种简单，从理论上得到支持的单头门控注意力机制，具有指数移动平均数以将位置感知的局部依赖性的归纳偏差纳入位置不可知的注意力机制中。通过将整个序列有效地分成多个具有固定长度的块以实现线性时间和空间复杂度，该文进一步提出了 Mega 的变体。在长序列建模、神经机器翻译、自回归语言建模以及图像和语音分类等广泛测试中，证明了 Mega 优于其他序列模型，包括 Transformer 的变体和最近的状态空间模型。

    Sep, 2022

  • 利用三重指数移动平均法进行快速自适应动量估计

    本文提出了一种名为 FAME 的深度优化器，利用 Triple Exponential Moving Average 作为估算梯度矩的方法，相比于现有的优化方法，可以更准确和快速地识别梯度趋势，从而在多个领域中提高了性能表现。

    Jun, 2023

  • ETSformer: 指数平滑变压器用于时间序列预测

    本研究提出了一种基于 ETS 的改进型 Transformer 架构 ——ETSFormer，通过引入指数平滑、曲线趋势拟合和频率部分的注意力机制和模块化分解来提高时间序列预测的准确性和效率，实现了对时间序列数据的分解和解释。

    Feb, 2022

  • DWFormer: 动态窗口变换器用于语音情感识别

    本研究提出了一种基于动态窗口的变压器架构 DWFormer，通过自注意机制动态划分样本窗口，捕捉语音本地的精细的时间重要信息，并考虑窗口间的全局信息交互，实现了在情感识别方面的前沿突破。

    Mar, 2023

  • DualFormer：面向高效视频识别的分层局部全局 Transformer

    本文提出了一种新型的 Transformer 架构 DualFormer 用于视频识别，此架构可以有效地处理空间 - 时间关注，能够捕捉短距离和长距离的时空依赖关系，并通过本地 - 全局层次划分策略显著减少注意力计算中的关键值个数，从而提高效率并在五个视频基准测试上验证了 DualFormer 的优越性能。

    Dec, 2021

  • DenseFormer: 通过深度加权平均增强 Transformer 中的信息流传

    提出了 DenseFormer 这种简单修改的转换器架构，通过在每个转换器模块之后添加一个平均步骤来改进模型的困惑度，减少了内存消耗和推理时间，并且在相同困惑度下表现优于转换器基线模型。

    Feb, 2024

  • ActionFormer：使用 Transformers 定位行为片段

    ActionFormer 是一种基于 Transformer 网络的模型，采用了多尺度特征表示和本地自我注意力机制来识别视频中的动作。它在 THUMOS14 上取得了 71.0％ mAP，在 ActivityNet 1.3 和 EPIC-Kitchens 100 中也表现出色。

    Feb, 2022

  • Gradformer：具有指数衰减的图变换器

    本文提出了 Gradformer，一种创新地将 GT 与内在归纳偏差集成的方法，通过将指数衰减掩码应用于注意力矩阵来实现。通过这种设计，Gradformer 保留了从远程节点捕获信息的能力，同时专注于图的局部细节。广泛的实验表明，Gradformer 在各种图分类和回归任务中始终优于基线模型，同时也是深度 GT 模型训练的有效方法。

    Apr, 2024

  • LOGO-Former: 动态面部表情识别中的局部 - 全局时空变换器

    提出了一种名为 LOGO-Former 的本地全局时空 Transformer，用于解决人脸表情识别中长期依赖问题，将本地和全局特征结合起来，在两个野外人脸表情数据集上取得了有效的识别性能。

    May, 2023