循环二进制嵌入

ICMLMay, 2014

Circulant Binary Embedding

Felix X. Yu, Sanjiv Kumar, Yunchao Gong, Shih-Fu Chang

TL;DR提出了基于循环矩阵的二进制嵌入方法（Circulant Binary Embedding），其可以使用快速傅里叶变换来加速计算，将时间复杂度从 $O (d^2)$ 降低到 $O (dlogd)$，将空间复杂度从 $O (d^2)$ 降低到 $O (d)$。通过时间频率交替优化方法学习数据依赖的循环投影。实验证明，该方法可以在固定时间内获得比现有方法更好的性能，在固定位数时提供更快的计算速度，且没有性能降级。

Abstract

binary embedding of high-dimensional data requires long codes to preserve the discriminative power of the input space. Traditional binary coding methods often suffer from very high computation and storage costs in such a scenario. To address this problem, we propose Circulant

binary embedding circulant binary embedding fast fourier transformation time-frequency alternating optimization input dimensionality

发现论文，激发创造

使用循环矩阵进行二进制嵌入

本文提出了基于循环矩阵 (Circulant Binary Embedding, CBE) 技术进行二进制编码的方法，并使用快速傅里叶变换算法加速计算，提高时间复杂度和空间复杂度。我们研究了两种不同的设置，并通过广泛的实验，证明了 CBE 方法的性能优于现有的方法。

Nov, 2015

循环二进制嵌入的接近最优样本复杂度界限

本文介绍了如何使用 Fourier 转换，尤其是环移矩阵来进行二进制嵌入，即将高维空间中的点映射到低维的 Hamming 立方体中以保留成对距离。作者提出了优化的方法，可以通过使用 k ~ δ^(-3) logN 个样本将 N 个 R^n 中的点正确地嵌入到 Hamming 立方体中，优于最优距离依赖关系 δ^(-2)，适用于标准条件 logN≲n^(1/3)。此外，如果满足 logN≲sqrt (n) 的较宽松条件，则可以将除随机小分数以外的所有点置于最优位置。该文认为此任务可以应用于其他非线性嵌入问题，并提出它可能有用的保证改进技术。

Mar, 2016

利用高斯循环矩阵的快速二进制编码：改进界限

本文研究如何通过二进制嵌入方法在保留向量之间的角度距离信息的同时，将一个有限向量集编码为少量比特位。通过推导出与二元高斯循环嵌入相关的改进方差界，我们基本上解决了最佳快速二进制嵌入方法的证明中的漏洞。我们的界限也表明，早期关于方差界的工作中需要的数据向量分散的假设是不必要的。此外，我们提出了一种在稀疏数据上具有更快运行时间的二元嵌入方法。

Aug, 2016

使用循环矩阵训练紧凑型深度学习模型进行视频分类

本研究旨在减小大型权重矩阵所带来的训练和部署难度，提出一种基于 Deep Bag-of-Frames、NetVLAD 和 NetFisherVectors 等先进网络架构的紧凑视频分类模型，并在广泛使用的 YouTube-8M 视频分类数据集上进行了深入的实验研究，发现循环 DBoF 嵌入在模型大小和准确性之间取得了很好的平衡。

Oct, 2018

循环二进制卷积网络：通过循环反向传播提升 1-bit DCNN 的性能

本文提出了一种新的循环滤波器（CiFs）和循环二值卷积（CBConv）算法，以及通过循环反向传播（CBP）提高二值卷积特征容量的方法，并将其应用于现有的深层卷积神经网络（DCNNs）来构建新的循环二进制卷积网络（CBCNs）。在 ImageNet 数据集上的实验结果表明，提出的 CBCN 模型可以实现 61.4％的 top-1 准确率，比现有的 XNOR 方法的表现高出 10％。

Oct, 2019

基于循环投影的深度网络参数冗余探究

本文提出了用循环矩阵代替全连接层中传统的线性投影来探索深度神经网络中参数冗余问题。该循环投影显著降低了存储占用并加速了计算速度，尤其对于现代深度卷积神经网络架构中包含 90% 以上参数的全连接层来说更为重要。作者还展示了该投影的梯度计算和优化可高效完成，并在三个标准数据集上进行了实验证明其存储空间和效率比传统神经网络结构有显著提升，同时误差率仅略微增加。

Feb, 2015

加速二进制嵌入以保持欧几里得距离

本文提出一种快速、距离保持的二进制嵌入算法，通过对稀疏矩阵进行稳定的噪音形状量化，实现将高维数据集转换为二进制序列，准确地表示了主题和研究领域。

Oct, 2020

快速二进制嵌入和结构化矩阵量化压缩感知

本文提出了一种基于量化的快速 Johnson-Lindenstrauss 嵌入法，该方法使用有界正交系统和部分循环集合进行快速的嵌入，并利用噪声整形实现积极的降噪机制，该方法的误差多项式和指数衰减，是当前二进制嵌入和汉明距离所能达到的巅峰效果；此外，本文还提出了一种基于噪声整形机制的量化压缩感知度量方法，该方法在测量值的数量和比特数上实现了误差的多项式和指数衰减，是目前处理有限正交系统的最优表现。

Jan, 2018

图的伯努利嵌入

通过将图表数据的嵌入视为不同偏置下的独立硬币翻转，应用持续优化技术来获得二元向量的简单且有效模型，得出了优于谱图嵌入和各种学习实值嵌入的量化结果，可以显著降低图表数据检索的延迟。

Mar, 2018

二进制嵌入：基本限制与快速算法

本文提出了一种基于二进制编码的非线性降维方法，能够在保留原始空间结构的同时，将高维数据嵌入到汉明立方体中，实现对任意集合中点的编码，并在理论上证明了该方法的最优位数下界及哈明距离下的非遗忘式编码，同时针对一般点集甚至无限点集提供了分析结果，并通过实验验证了理论结论的有效性。

Feb, 2015