Dec, 2023

基于样例的动态分层 Transformer：通过上下文强化学习实现层和头的灵活性

PDF
TL;DR通过解决上下文赌博问题动态配置层数和头数，我们提出了一种基于样本的动态层级变压器模型（DHT），与先前关注于仅推理的训练网络压缩不同，DHT 不仅有优势用于训练期间自适应优化底层网络架构，而且具备高效推理的灵活网络结构，得到高达 74％的计算节省同时最小化准确性损失。
transformerdynamic hierarchical transformerlayersheadscomputational savings
发现论文，激发创造
  • 在线持续上下文推荐系统超参数优化

    本文提出了第一个在线连续超参数调整框架，即 CDT 框架，用于学习最佳超参数配置，可以在不预设候选超参数组合的情况下调整上下文 bandit 算法，其中使用 Zooming TS 算法进行探索和重启技术来避免环境切换，并提供更好的实验结果。

    Feb, 2023

  • 使用奖励预测预训练决策 Transformer 进行上下文多任务结构化赌博学习

    本文研究多任务结构化赌博问题，目标是学习一个接近最优的算法以最小化累计遗憾。我们使用 Transformer 作为决策算法来学习该共享结构以便泛化到测试任务，并通过利用多样化的训练任务中的观测离线数据预测每个动作的奖励向量，而不需要训练期间对每个任务的最优动作的了解。在推断时，它使用奖励预测并采用各种探索策略在上下文中选择动作。我们的模型在几个结构化赌博问题上（线性、双线性、潜在、非线性）的一系列实验中优于其他 SOTA 方法，例如 DPT 和算法蒸馏。有趣的是，我们展示了即使没有了解潜在问题结构的情况下，我们的算法也能通过利用不同任务之间的共享结构来学习在上下文中的接近最优策略。我们进一步通过展示它们可以利用带有新动作的未见任务并仍然学习潜在结构来获得接近最优策略，从而扩展了预训练决策 Transformer 领域。我们通过几个实验证实了这一点，以展示我们的解决方案非常通用，并且在测试时具有广泛的潜在在线和离线策略应用。最后，我们在上下文多任务学习环境中理论上分析了我们算法的性能并获得了泛化界限。

    Jun, 2024

  • 跨领域广告推荐的动态协同过滤汤普森抽样算法

    本文提出了动态协同过滤汤姆逊取样模型 (DCTS)，通过用户和广告之间的相似性来估计 Thompson 取样的先验分布，并将知识在多个领域之间进行转移。实证分析结果表明，DCTS 比现有模型将点击率提高了 9.7%

    Aug, 2022

  • 高效在线策略适应的超级决策 Transformer

    Hyper-Decision Transformer (HDT) framework proposes an adaptation module initialized by a hyper-network to enable efficient adaptation to novel tasks for offline reinforcement learning, demonstrating better performance than state-of-the-art baselines in terms of task success rates.

    Apr, 2023

  • 自适应节点采样的层次图形 Transformer

    本文提出针对当前图表示学习中的问题，通过将节点采样策略的优化进行对抗式强化学习，以及引入一种新的分层注意力方案，来提高图卷积网络（Graph Transformer）的性能，实验结果显示了新方法的优越性。

    Oct, 2022

  • DHA：通过自适应头融合从 Transformer 检查点学习分离头注意力

    通过分析注意力冗余，设计了一种解耦式头部注意力机制（Decoupled-Head Attention，DHA），达到性能和效率之间的更好平衡，通过逐步线性融合类似头部参数来将 Multi-Head Attention（MHA）模型转换为 DHA 模型，实现了预训练预算的极大节约和高性能的平衡。

    Jun, 2024

  • DCN-T: 基于 Transformer 的双重上下文网络用于高光谱图像分类

    本研究提出了一种基于三波段图像生成、端到端分割网络和集成学习方法的高光谱图像分类方案，能够优于现有最先进的方法。

    Apr, 2023

  • 监督预训练可学习上下文强化学习

    在这篇论文中，我们通过引入和研究 Decision-Pretrained Transformer（DPT）并展示它在上下文感知机器人决策中的运用，证明了大型变形机模型在多个数据集上的上下文学习能力，同时实现了对决策问题的研究及基于贝叶斯后验采样的跨任务性能。

    Jun, 2023

  • 多环境双超先验神经图像压缩

    提出了基于 Transformer 的非线性变换和包含两个不同超先验的熵模型，通过有效地捕获输入图像的局部和全局信息以及利用远距关系提取长程信息，能够在速率 - 失真性能方面表现优于现有的方法。

    Sep, 2023

  • 用于少样本学习的变形金刚中的属性替代学习和光谱标记池化

    本文提出了一种新型的 Hierarchically Cascaded Transformers，它通过属性代理学习和光谱令牌池化来提高数据效率。在少量数据的情况下，HCTransformers 在几个流行的 Few-shot 分类基准上都表现出了优异的性能。

    Mar, 2022