Oct, 2023

跨时序课程设计用于 Transformer 代理

PDF
TL;DR我们提出了一种新的算法，跨迭代课程（CEC），以提高 Transformer 智能体的学习效率和泛化能力。CEC 的核心是将跨迭代经验放入 Transformer 的上下文中，形成课程的基础。通过顺序地构建在线学习试验和混合质量演示，CEC 构建了涵盖了跨迭代学习进展和熟练度提升的课程。此种协同与 Transformer 模型强大的模式识别能力相结合，提供了强大的跨迭代注意机制。CEC 的有效性在两个典型场景下得到了证明：一个涉及离散控制的多任务强化学习，例如在 DeepMind Lab 中，课程捕捉了个体和逐渐复杂环境中的学习进展；另一个涉及连续控制的混合质量数据的模仿学习，例如在 RoboMimic 中，课程捕捉了演示者专业技能的提高。在所有情况下，CEC 生成的策略表现出优秀的性能和强大的泛化能力。该代码已在此网址开源，以促进对 Transformer 智能体学习的研究。
发现论文，激发创造
  • Epi-Curriculum: 短期课程学习低资源领域调适在神经网络机器翻译中

    神经机器翻译模型在新领域上的性能仍然较差，本研究提出了一种名为 Epi-Curriculum 的新方法来解决低资源域适应问题，该方法结合了新的经验教学框架和去噪课程学习，通过使编码器 / 解码器与经验不足的解码器 / 编码器进行经验性训练，增强了模型对领域转移的鲁棒性，去噪课程学习则通过逐渐引导学习过程从简单到更困难的任务，进一步提高了模型的适应性。实验结果表明 Epi-Curriculum 提高了模型在可见和不可见领域的鲁棒性和适应性，我们的经验性训练框架增强了编码器和解码器对领域转移的鲁棒性。

    Sep, 2023

  • 视觉语言导航的史诗变压器

    本文提出了一种名为 Episodic Transformer (E.T.) 的多模态 Transformer，可解决使用自然语言指令进行交互和导航所面临的挑战。通过采用合成指令来改善训练和决策，使得 E.T. 能够处理历史信息，以实现复合式任务，并在具有挑战性的 ALFRED 基准测试中取得了 38.4% 和 8.5% 的任务成功率。

    May, 2021

  • 连续性情节控制

    本文提出了一种新型非参数迭代记忆算法 CEC 来解决具有连续动作空间的顺序决策问题，同时在多个稀疏奖励连续控制环境中表现出比最先进的无模型 RL 和记忆扩展 RL 算法更快的学习速度和更好的长期表现。

    Nov, 2022

  • CEAT：用于非示例类别增量学习的连续扩展和吸收变换器

    通过延展融合层并与冻结先前参数并行，然后无损地将扩展参数吸收到主干网络中，以确保参数数量恒定，同时采用新型的原型对比损失减少特征空间中新旧类别的重叠，并提出一种生成伪特征以校正分类器的新方法。实验结果表明，在 CIFAR-100、TinyImageNet 和 ImageNet-Subset 上，与之前的研究相比，我们的模型获得了显著的改进，分别提高了 5.38％、5.20％和 4.92％。

    Mar, 2024

  • 基于 Transformer 基础模型的课程推荐：采用 InfoNCE 损失和语言切换方法

    通过采用 Transformer Base Model 来增强计算效能、实现 InfoNCE Loss 以进行准确的内容 - 主题匹配，并采用语言切换策略以消除与翻译相关的歧义，这一研究提出的 Curriculum Recommendations 范式致力于克服课程开发领域不断演变中存在的教育技术和课程开发的不平等问题，以实现平等的学习体验。

    Jan, 2024

  • 对话情感识别的混合式课程学习

    本研究提出了一种以情绪识别为中心的混合课程学习框架，其中包括对话级别和话语级别课程。使用情感转移频率对对话进行排序并逐步强化模型对混淆情感的识别能力，我们观察到该模型跨多个 ERC 数据集显著提高了性能，达到了新的最先进水平。

    Dec, 2021

  • 简单模型同样有效：一种基于课程学习策略的文本对话情绪识别网络

    我们提出了一种基于课程学习策略的新型情感识别网络（ERNetCL），它通过结合前期方法的优点以简洁的方式高效地捕捉对话中的时序和空间上下文信息，并利用课程学习的思想逐步优化网络参数。在四个数据集上进行的大量实验表明，我们的方法有效地击败了其他基准模型。

    Aug, 2023

  • 基于课程指导的抽象摘要

    本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

    Feb, 2023

  • CEMFormer：使用空间 - 时间 Transformer 从车内和外部相机中学习预测驾驶员意图

    本文提出了一种新的预测驾驶行为的框架，称为 “跨视图情节记忆变换器 (CEMFormer)”，能够通过时空变换器来学习驾驶员行为的一致内部表现，集成车内外摄像头信息和历史数据，利用提出的上下文一致损失作为辅助监督信号来改善预测性能，使用 Brain4Cars 数据集的广泛实验表明 CEMFormer 在驾驶员意图预测方面始终优于现有最先进的方法。

    May, 2023

  • LeRaC：学习率课程

    本文提出了一种名为 Learning Rate Curriculum（LeRaC）的课程学习方法，使用不同的学习率来创建数据 - free 课程，在课程学习的初始训练时期，将更高的学习率分配给靠近输入的神经层，逐渐降低学习率。 为了实验验证，本文使用了从计算机视觉（CIFAR-10，CIFAR-100，Tiny ImageNet），语言（BoolQ，QNLI，RTE）和音频（ESC-50，CREMA-D）领域中的 8 个数据集，考虑了各种卷积（ResNet-18，Wide-ResNet-50，DenseNet-121），循环（LSTM） ）和变压器（CvT，BERT，SepTr）架构，将该方法与常规的训练策略和 Curriculum by Smoothing（CBS）方法进行了比较。

    May, 2022