- 用于视频人脸识别的循环嵌入聚合网络
提出了一种称为 REAN 的循环嵌入汇聚网络,可用于集合到集合的人脸识别任务,并且相对于 LSTM 等采用先前训练嵌入的方法,REAN 学习如何聚合预先训练的嵌入,可以更加稳健地避免过拟合,而 REAN 相较于高质量聚合方法,可以利用上下文 - CVPRDDLSTM:用于跨数据集行为识别的双域 LSTM
本文提出了一种名为双域 LSTM(DDLSTM)的神经网络结构,通过交叉污染批量归一化方法,旨在解决卷积网络和循环神经网络在领域对齐中存在的问题,在多个数据集上进行了帧级行为识别的实验,结果表明 DDLSTM 优于标准、微调、批量规范化的 - ACL使用自然语言描述实现提取式视频剪辑定位
该文章提出了一种新的、能够利用文本和视频间的交互,预测起始和结束帧的提取方法,以避免检索和重新排序多个候选段落。使用递归网络将两种模态编码成共同表示,该方法在多项实验和去除分析中表现显著,比现有技术提升了性能。
- ICLR通过参数共享隐式地学习循环卷积神经网络
本文提出了一种参数共享方案,通过学习全局模板的参数张量的线性组合,定义卷积神经网络 (CNN) 的不同层。相比于传统的 CNN,我们展示了在标准图像分类任务上获得了可观的参数节省同时保持准确性的结果。同时,本文提出的卷积网络和循环网络的混合 - 面向可扩展的神经对话状态追踪模型
本文提出了一种新的可伸缩且准确的神经对话状态跟踪模型,基于最近由 Zhong 等人提出的全局 - 本地自注意编码器(GLAD)模型,该模型使用全局模块共享不同类型(称为 slots)对话状态估计器之间的参数,并使用局部模块学习 slot-s - ICLR序列建模的格子网络
提出了一种新的序列建模架构:活动网络,其是具有特殊结构的时间卷积网络;文章表明,具有特殊稀疏结构的截断循环网络等效于具有一般重量矩阵的活动网络。实验表明,活动网络在词级语言建模和字符级语言建模任务等多个基准上均优于现有技术。
- 推广平衡传播至矢量场动态
该论文探讨了反向传播算法的生物学可信度以及提出了一种基于平衡传导法、解决了双向信号问题和对称连接问题的前向和后向连接的学习方法。
- NIPS深度网络的流式部署 - 实现全模型并行执行
该研究提出了一种理论框架,描述了滚动操作,它们的模型并行化级别,证明了某些滚动操作的优越性,并通过经验证实这些滚动操作的性能于传统滚动操作更优,从而提高深度神经网络在控制自主代理方面的实用价值。
- Weaver:机器阅读的问题和文档的深度协同编码
本文介绍了一种新的模型 Weaver,采用逐层递归神经网络的方式将一个问题与其上下文联系起来,以最少的假设来合并问题和上下文信息,能够在多种条件下很好地完成各种类型的问题,有很好的实证效果。
- ICML可微可塑性:使用反向传播训练可塑神经网络
利用突触可塑性,采用梯度下降算法优化反馈网络的连接权重和可塑性,使得大型反馈可塑网络可以学习、记忆、重构以及元学习各类任务。
- 通用卷积和循环网络在序列建模中的实证评估
本文通过系统评估普遍用于序列模型的通用卷积和循环神经网络架构,研究了应该选择哪种架构。结果表明,简单的卷积神经网络优于经典的循环网络,同时具有更长的有效内存。因此,序列建模与循环神经网络的通常联系应该被重新考虑,卷积网络应该被视为序列建模任 - Tensor Comprehensions:通用的高性能机器学习抽象框架
介绍了 TensorFlow、Chainer、CNTK、Torch/PyTorch、Caffe1/2、MXNet 和 Theano 等深度学习神经网络的竞争框架,并提出了一种名为 Tensor Comprehensions 的类数学语言,以 - 递归神经网络规则提取的比较研究
本研究旨在探讨不同复杂度的 Tomita 文法上,从常用的循环神经网络中提取确定有限状态自动机的性能表现。研究结果表明,随着底层文法复杂度的提高,大多数循环神经网络的提取性能逐渐降低。
- ICLR词嵌入的一次性学习和少次学习
通过人类的单次或少次学习的能力,本文借鉴启发式的思想,提出了一种简单的技术,使深度循环网络能够利用其先前的知识从少量数据中学习新单词的有用表示,使自然语言处理系统更加灵活。
- ECCVContextVP:完全上下文感知视频预测
通过使用并行多维 LSTM 单元和融合单元进行数据聚合处理,提出了一种全面考虑过去背景信息的上下文感知结构,从而提高了视频预测的性能。该模型没有使用深度卷积网络、多尺度结构、分离前景和背景建模、运动流学习或对抗性训练等技术,性能超过了强基线 - full-FORCE:一种基于目标的循环神经网络训练方法
采用目标驱动的方法修改全连接神经网络的连接矩阵,增强神经网络对于时间复杂的输入输出变换执行任务的能力。添加输入信号作为任务提示,可进一步扩展任务的种类。方法能够使网络的噪声鲁棒性增强。
- ICCV学习盲目运动去模糊
本文介绍了一种使用神经网络的实时视频去模糊技术,将多个连续模糊的图像传递信息给递归神经网络来还原所需的清晰图像或视频。
- NIPS探究深度 Q 网络中的重复和资格迹
本文研究了资格追踪在 Atari 游戏中和循环神经网络相结合的应用,展示了循环网络和资格追踪在 Atari 游戏中的优势,并强调了训练中所使用的优化的重要性。
- ICLR层级递归网络在序列标注中的迁移学习
本文研究了神经网络在序列标注任务上的最优表现及其通用性,接着讨论了序列标注中的迁移学习问题,并验证了将源任务应用于目标任务可以大幅提高性能,从而超越了多个经典任务的最优表现。
- 无偏在线循环优化
介绍了一种新的在线学习算法 —— 无偏在线递推优化(UORO),利用它可以进行通用递推计算图的在线学习,适用于递推网络模型等。UORO 算法避免了回溯过去激活和输入的需要,是一种类似于截断 BPTT 算法的计算算法。UORO 利用无偏梯度估