一项关于使用自监督方法改进泛化性能、处理图形对称注意力及展示改进结果的研究，使用 Symmetry-Invariant Transformer (SiT) 扩展 Vision Transformer (ViT) 的方法在 MiniGrid、Procgen RL 基准测试上展示了优于 ViTs 的泛化能力，并在 Atari 100k 和 CIFAR10 上体现了更高的样本效率。

Jun, 2024

为了提高神经车辆路径问题（VRP）求解器在实际环境中的可行性，我们设计了一个辅助策略，通过学习本地可转移的拓扑特征来改善神经 VRP 求解器的表现，将其与典型的建构策略相结合，形成一个集成策略。经过联合训练，这个集成策略使得各个策略相互协作和互补，从而提高了泛化能力。实验证明，与最先进的构造方法相比，这个集成策略在两个著名的基准测试中（TSPLIB 和 CVRPLIB）表现出更好的泛化性能，并且在数千个节点的真实世界问题上也能工作得很好。

Aug, 2023

使用 PriViT 算法，通过温和改变 Vision Transformer 结构中的非线性变换，实现了在维持预测准确性的同时，适应安全多方计算（MPC）协议的隐私预测，相比于现有方案，PriViT 在延迟 - 准确性的 Pareto 最优曲线方面取得改进。

Oct, 2023

通过跨问题学习和细调不同变种目标问题的 Transformer 模型，本论文提出了一种用于改善车辆路线问题的神经启发式训练方法，展示了与从头开始训练相比较，全细调和适配器细调技术能够取得更好性能和参数效率的优势，并证明了该方法在交叉分布应用和通用性方面的有利影响。

Apr, 2024

该论文展示了视觉转换器（ViTs）对基于渐变的反演攻击的易受攻击性。作者提供了一种名为 GradViT 的方法，可以将随机噪声优化为自然图像，以通过迭代过程重建原始数据批次。作者发现 Vision Transformers 由于注意机制的存在，比之前研究过的 CNNs 容易受到攻击。作者的方法具有卓越的定量与定性表现。

Mar, 2022

本文提出了一种元学习框架，通过元学习可以有效地训练出初始化的模型，并具有快速适应新任务的能力，在旅行商问题和车辆路径问题的综合实验中，证明了方法的有效性。

May, 2023

本研究提出了一种基于不同可微可导规划器的机器人导航方法，用于规划并导航三维环境中的机器人，并考虑实际应用中的限制，该方法是在无需先验知识的情况下从安全的专家示范中训练产生，能够成功地应用于真实机器人的模拟导航。

Aug, 2021

通过多分辨率和对称性保持，我们提出了一种新的数据驱动方法来解决旅行推销员问题和车辆路径问题。实验证明，我们的模型超过了现有的基准线，并证明了对称性保持和多分辨率对于解决组合问题的重要性。

Oct, 2023

使用 Transformer 作为超网络构建内隐神经表示，避免信息瓶颈和优化低效性，并在 2D 图像回归和 3D 对象视图合成等任务和领域中展示其有效性。

Aug, 2022

DT-VIN 通过增加动态转移内核和引入自适应高速公路损失来提高价值迭代网络在强化学习中规划的表达能力和解决长期大规模规划任务的能力。

Jun, 2024