探索了一种使用高计算复杂度的 Teacher 来训练计算效率更高的 Student 进行视频分类的方法，并表明该方法可以显著减少 FLOPs 数量并降低推理时间。

Feb, 2019

该论文提出 CirCNN，一种使用块循环矩阵表示权重和处理神经网络的基于 FFT 快速乘法的方法，能够从 O（n2）减少计算复杂度并降低存储复杂度，同时保持准确性，并在 FPGA、ASIC 和嵌入式处理器上实现出较高的能效和性能表现。

Aug, 2017

本研究提出一种深度学习模型的压缩方法，利用低秩矩阵因式分解来压缩自然语言处理中的字词嵌入层，经过实验证明可以在 90% 的压缩比下保持精度不受影响，并且在句子分类任务上表现优于其他方法，同时还引入了一种新的学习率调度算法 CALR，其在句子分类基准测试中表现出优越性。

Nov, 2018

提出了基于循环矩阵的二进制嵌入方法（Circulant Binary Embedding），其可以使用快速傅里叶变换来加速计算，将时间复杂度从 $O (d^2)$ 降低到 $O (dlogd)$，将空间复杂度从 $O (d^2)$ 降低到 $O (d)$。通过时间频率交替优化方法学习数据依赖的循环投影。实验证明，该方法可以在固定时间内获得比现有方法更好的性能，在固定位数时提供更快的计算速度，且没有性能降级。

May, 2014

本文提出了基于循环矩阵 (Circulant Binary Embedding, CBE) 技术进行二进制编码的方法，并使用快速傅里叶变换算法加速计算，提高时间复杂度和空间复杂度。我们研究了两种不同的设置，并通过广泛的实验，证明了 CBE 方法的性能优于现有的方法。

Nov, 2015

本文基于 YouTube-8M 大规模数据集，提出了三种视频分类模型，分别基于帧池化和 LSTM 网络，第三个模型使用 Experts 混合中间层以增加模型容量，并进行了一系列处理不平衡训练数据的实验。

Jun, 2017

本文提出了用循环矩阵代替全连接层中传统的线性投影来探索深度神经网络中参数冗余问题。该循环投影显著降低了存储占用并加速了计算速度，尤其对于现代深度卷积神经网络架构中包含 90% 以上参数的全连接层来说更为重要。作者还展示了该投影的梯度计算和优化可高效完成，并在三个标准数据集上进行了实验证明其存储空间和效率比传统神经网络结构有显著提升，同时误差率仅略微增加。

Feb, 2015

本文介绍了我们在 Google AI 组织的第二届 YouTube-8M 视频理解挑战中的解决方案，该方案利用非本地操作实现了多个子模型的融合来有效地执行视频分类任务。

Sep, 2018

本论文提出和评估了几个深度神经网络架构，用于对比以往更长时间段内视频图像信息的组合。通过一些新的方法，包括卷积时间特征池化和循环神经网络结构，该论文指出最佳神经网络在 Sports 1 million 数据集（73.1％对 60.9％）和 UCF-101 数据集中（88.6％对 88.0％）及无附加光流信息（82.6％对 72.8％）上明显性能提高。

Mar, 2015

提出了一种基于低位移秩概念的结构化变换方法，能快速优化深度学习模型在储存和功耗受限移动设备上的部署，通过参数共享的各种配置实现结构化到非结构化的统计建模，并在关键词检测应用中显著提高推理速度和轻量化程度，表现优于目前的技术。

Oct, 2015