Mar, 2024

PARMESAN：无参数的内存搜索与密集预测任务转导

PDF
TL;DR通过转导推理的方式解决深度学习中的灵活性问题，提出了 PARMESAN（无参数记忆搜索和转导），一种可扩展的转导方法，通过修改记忆内容实现无需连续训练或微调可学参数的学习，与常用的神经架构兼容，并在连续学习和少样本学习等任务中展现了较快的学习速度和高预测性能。
flexibilitydeep learningtransductive reasoningparameter-free memory searchdense prediction tasks
发现论文，激发创造
  • SPARTAN：用于参数高效的 Transformer 的稀疏分层存储器

    本研究提出了一种基于 SPARTAN 的架构，在使用预训练语言模型的基础上，仅对其记忆进行微调，以显着减少存储和计算成本，从而适用于存储受限的边缘设备，并通过使用分层组织的稀疏内存以及其他架构优化，在不损失性能的情况下提高了其执行效率。

    Nov, 2022

  • 使用无界记忆学习传导

    使用设计成类似于机器翻译等实际转换问题的合成语法，我们探索了深度循环神经网络的表达能力并提出了新的基于记忆的循环网络，实现了传统数据结构（如堆栈、队列和双端队列）的连续可微分模拟。我们证明，这些架构表现出卓越的泛化性能（generalisation performance）并且通常能够学习到生成算法。

    Jun, 2015

  • UniPT: 通用并行调优的高效参数和内存迁移学习

    提出了一种名为 Universal Parallel Tuning (UniPT) 的新型内存高效 PETL 策略，通过轻量级的可学习并行网络进行传输过程，减少内存消耗，并在不同架构上在低内存场景下实现更高的性能。

    Aug, 2023

  • 基于转导的广义语义分析

    本研究提出了一种基于关注机制的神经转导框架，可在多个任务中提升语义解析的效果，并且不需要先前的对齐预训练，实验结果表明在 AMR 和 UCCA 任务上表现优异。

    Sep, 2019

  • 基于记忆的参数适应

    通过存储案例，使用基于上下文的查找直接修改神经网络的权重，以 Memory-based Parameter Adaptation 为核心的方法，可以在监督任务中有效地改善深度神经网络的性能和训练速度。

    Feb, 2018

  • 神经机器翻译的非参数适应

    本文提出了一种半参数神经机器翻译方法，采用 n-gram 级别的检索方法和表现出色的非参数特性，针对神经网络在训练过程中的参数漂移而提出的而提高网络的鲁棒性的问题，在四种测试数据集上取得了优异的表现，进一步打开了使用非参数方法进行领域自适应的大门。

    Feb, 2019

  • 半参数语言模型是可扩展的持续学习者

    本文提出了一种名为 Selective Memorization 的方法来提高半参数语言模型在不断学习流数据时的可伸缩性，该方法只记忆模型难以处理的样本。实验表明，Selective Memorization 能够实现半参数语言模型的可扩展、持续学习，并减少遗忘。

    Mar, 2023

  • 神经转换器训练：样本级计算减少内存消耗

    研究了神经转录器的训练过程中内存需求高的问题，提出了一种基于样本的方法来减少内存使用和提高训练效率。在一系列基准测试中表明，比默认批处理计算更具有竞争力，可以在 1024 批处理计算下，仅使用 6GB 的内存来计算 40 秒音频的转录器损失和梯度。

    Nov, 2022

  • 自适应半参数语言模型

    该研究提出了一种结合大型参数神经网络和非参数周期性记忆组件的语言模型，通过缓存本地隐藏状态和检索一组最近的邻居标记来使用扩展的短期上下文和全局长期记忆，并设计门控函数来自适应地组合多个信息源来做出预测。

    Feb, 2021

  • TRAMS：无需训练的长程语言模型记忆选择

    提出了一种称为 TRAining-free Memory Selection (TRAMS) 的插拔式策略，通过一个简单的评价指标选择参与注意力计算的令牌，从而改善长程语言建模的挑战，无需额外训练或添加参数，通过在 word-level benchmark (WikiText-103) 和 character-level benchmark (enwik8) 上的测试取得了改进的结果。

    Oct, 2023