网络重构：一种通用的网络架构转换方法
本文介绍了一种名为递归级联网络（recursive cascaded networks）的通用体系结构，可用于可变形图像配准。所提出的体系结构设计简单，可以建立在任何基础网络之上。整个系统是端到端的，并以无监督的方式共同训练。我们在 3D 医学图像上评估了我们的方法，在性能上表现出一致、显著的提高，并且优于最先进的方法。该方法的性能与级联的数量成正比，缺乏极限。
Jul, 2019
本文提出了 RetNet 作为大型语言模型的基础架构，同时实现了训练并行性、低成本推理和良好的性能表现。通过理论推导，提出了序列建模的 retention 机制，支持三种计算模式，即并行、循环和分块循环，并在语言建模上取得了良好的结果。
Jul, 2023
本研究介绍了一种利用 Transformer 架构将重建过程重新设计的新框架，名为 Reconstruction TRansformer（ReTR），其增强了光子与表面交互建模，同时通过在高维特征空间操作（而非颜色空间），缓解了源视角中投影颜色的敏感性，从而实现了高精度、高置信度的表面评估。
May, 2023
本文探讨了在图像块上嵌套局部 Transformer 并以层次化方式汇总它们的想法，并设计了一个简化的架构，它通过解耦特征学习和抽象过程，实现了对学习模型的可视化解释。
May, 2021
本文提出了利用循环变压器网络（RTNs）对语义相似图像进行密集对应的方法，在迭代过程中估计图像间的空间变换，以及使用这些变换来生成对齐的卷积激活，通过直接估算两幅图像间的变换，而非独立正则化每个图像，我们证明了更高的精度可以得到，同时使用一种基于提出的分类损失的弱监督训练技术。利用 RTNs，在语义对应的多个基准测试中，实现了最先进的性能。
Oct, 2018
本文提出了一种学习框架 —— 循环 Transformer 网络 (RTN)，用于修复破损的旧电影。该方法基于从旁边的帧中学习到的隐藏知识来进行恢复，能够有效推断划痕位置，同时保证时间连续性，利用更强大的 Transformer 块进行空间恢复，实验表明该方法优于现有的解决方案，并且可以有效地传播关键帧的颜色，最终呈现出令人信服的恢复电影。
Mar, 2022
本文提出了基于深度循环神经网络的新方法，称为 Recurrent Transition Network（RTN），可以自动生成过渡动画，并通过添加本地地形表示将其变地形感知，从而产生更好的效果。此外，还探讨了在动画超分辨率设置中的应用，结果显示该网络能够重构很难与未压缩的运动序列区分的动作。
Oct, 2018
我们结合了 RetNet 和 Transformer 提出了 RMT，通过引入显式衰减和空间先验知识的方式，使得 RMT 在计算机视觉任务中表现出卓越的性能。
Sep, 2023