- ICML连续时间动态图上的长距离传播
通过引入连续时间图反对称网络(CTAN),本文展示了 CTAN 方法在模拟长程依赖任务以及在合成长程基准和实际基准上的优越性能,从而证明了其长程建模能力并将长程任务作为时间图模型评价的一部分。
- 重新思考循环神经网络与非循环神经网络的关系:稀疏性研究
神经网络可以划分为两种广义类别,递归和非递归。本文认为这两种神经网络类型之间存在比通常意识到的更为密切的关系,并阐述了其中的迭代映射关系。这种关系不仅限于理论上的 Turing 完全性,更涉及神经网络的训练和实践等方面的深入洞察。
- EMNLP基于 Transformer 的增量自然语言理解模型实证分析
本文探讨了在英语 NLU 中使用线性变压器(LT)实现增量式处理的可行性。我们的结果显示,与标准变压器和具有重启增量性的 LT 相比,循环 LT 模型具有更好的增量性能和更快的推理速度,代价是部分非增量(完整序列)的质量下降。我们表明通过训 - 分层联想记忆
本文描述了一种完全反馈的关联记忆模型,具有任意数量的层,其中一些层可以是局部连接的(卷积),以及相应的能量函数,该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈,以帮助较低层神经元决定它们对输入刺激的响应。
- 全知视频超分辨率
该研究提出了一种全知框架来实现视频超分辨率,不仅利用前面的 SR 输出,还利用当前和未来的 SR 输出,该框架在客观指标、主观视觉效果和复杂度等方面优于现有的方法。
- 张量程序 I:任何架构的宽前馈或递归神经网络都是高斯过程
本文通过引入一种表达神经网络计算的语言,证明了具有随机权重和偏置的宽深度神经网络是高斯过程。 结果表明,这种神经网络 - 高斯过程对应关系即使对于所有现代前馈或递归神经网络都适用。
- 限资源分割的循环 U-Net
该论文介绍了一种新颖的循环 U-Net 网络结构,它可以保留原始 U-Net 的紧凑性,并显著提高其性能,尤其在几个基准测试中超过了现有技术。该方法不仅适用于手部、视网膜血管和道路等多种分割任务,还引入了大规模手部分割数据集。
- 剑桥大学 WMT18 机器翻译系统
该论文探究利用多种不同的神经模型进行翻译的组合,其中包括递归、卷积和自注意力模型,最终结合短语基 SMT 系统的 MBR 方案,相较于强 Transformer 模型集合,取得了小但一致的收益。
- ICCV基于时空方向导能网络的动态纹理识别
本文介绍了一种新颖的分层时空方向表示,用于时空图像分析,并将多层 ConvNets 的优点与更可控的时空分析方法相结合。它的一些关键方面是无需学习,采用理论推导进行设计,并具有循环性质、交叉通道特征汇集和层级结构。它在动态纹理识别方面性能表