ICCVJul, 2023

简单算术运算对于时间建模有何作用？

PDF
TL;DR通过计算加法、减法、乘法和除法等四种算术运算，提取帧特征产生辅助时间线索，利用这些线索从原时间无关域中提取对应特征，从而实现简化的时间建模。我们的研究表明，这种算术时间模块 (ATM) 在低计算成本下提供了强大的时间建模能力，并且与基于 CNNs 和 ViTs 的架构兼容，在几个常见视频基准测试上取得了优越的性能。
temporal modelingarithmetic operationstemporal cuesarithmetic temporal modulevideo benchmarks
发现论文，激发创造
  • 时间建模的近似双线性模块

    研究使用类似双线性模块（ABM）的方法进行时间建模，在分割相邻帧的可视重复部分的情况下减少帧分类的计算成本，从而实现在无动态参数情况下进行高效的视频分类。

    Jul, 2020

  • ATM：视频问答的动作时间建模

    通过动作时间建模（ATM），在视频问答（VideoQA）中引入了对因果 / 时间推理跨帧的问题，并通过重新思考光流的有效性、以行为为中心的对比学习和防止模型在微调阶段给出对洗牌视频的回答来实现了时序推理。实验证明，ATM 在多个 VideoQA 任务的准确性方面优于先前方法，并展示了更好的真实时间推理能力。

    Sep, 2023

  • 算术运算的视觉学习

    基于神经网络的端到端可视化学习模型可用非常少的神经元学习数字的加减法运算结果，但乘法等其他运算结果不可学习。

    Jun, 2015

  • TAM：面向视频识别的时间自适应模块

    该研究提出了一种新的时间自适应模块（TAM），可生成基于其自身特征图的视频特定时间核，采用独特的两级自适应建模方案，通过将动态核解耦为位置敏感重要性地图和位置不变聚合权重，从本地时间窗口中学习重要性地图以捕捉短期信息，从全局视图中生成聚合权重，并成功应用于 TANet 架构中，从而实现卓越的性能表现。

    May, 2020

  • 语言模型的数值计算能力：从记忆到计算

    该研究调查了语言模型在计算预测和问题解决能力方面的应用，以及其在进行算术计算和内部信息处理方面的推广能力。通过使用二进制加法和乘法作为测试样本，该研究成功地训练了一个轻量级语言模型，并进行了一系列实验以探究其外推能力和内部信息处理过程。研究结果支持了该假设，即语言模型在适当的内部表示映射后，计算发生在数值空间中，其工作类似于一个编码 - 回归 - 解码机器。

    Aug, 2023

  • 使用数字分解评估 Transformer 语言模型在算术运算上的表现

    本文研究如何通过分解数字来提高 Transformer 语言模型执行算术运算的准确性，称之为 “Calculon”，并将其与 GPT-3 在加减乘三个运算任务上进行了对比，结果表明在五位数加法任务上，Calculon 的准确率提高了 63％。

    Apr, 2023

  • 通过简单的算术任务研究变形金刚的限制

    研究了表现形式对于序列到序列的语言模型学习加减法算术任务的影响，发现表现形式对模型的准确性有很大影响；通过引入位置标记，模型可以准确地学习添加和减少 60 位数字。无论参数和训练示例数量如何，模型都不能学习与训练期间数字长度无关的加和规则。

    Feb, 2021

  • 语言模型实现简单的 Word2Vec 风格的向量算术

    本文研究了语言模型在上下文学习中的机制和解决问题的策略，发现虽然它们规模巨大和复杂，但其实有时候它们会利用简单向量算术的机制编码抽象关系，并且利用前馈网络的简单线性更新算法来完成各种任务，在一定程度上具有可解释性。

    May, 2023

  • 探索学习算术方程的认知架构

    通过实现一个数学向量化嵌入网络和一个联想记忆模型，本研究探索了支持算术学习的认知机制，以神经生物学可行的认知架构模拟这些技能的习得。通过实验，揭示了联系主义模型的泛化能力、发展计算障碍的神经学原因以及网络架构对认知性能的影响。通过这个跨学科研究，旨在为智能系统中数学认知的神经相关性的继续研究做出贡献。

    May, 2024

  • 小型 Transformer 的算术教学

    在不预训练的情况下，通过对训练数据进行简单的格式更改并使用包含中间步骤结果的思维链式数据进行训练，即便在完全缺乏预训练的情况下，也可以显著提高算术能力的准确性、样本复杂性和收敛速度。

    Jul, 2023