通过数据相关的方式直接优化非线性映射，提高核学习和逼近的性能，减少高维映射的计算成本，并引入使用循环矩阵结构的投影矩阵的循环非线性映射。

Mar, 2015

本文提出了基于循环矩阵(Circulant Binary Embedding, CBE)技术进行二进制编码的方法，并使用快速傅里叶变换算法加速计算，提高时间复杂度和空间复杂度。我们研究了两种不同的设置，并通过广泛的实验，证明了CBE方法的性能优于现有的方法。

Nov, 2015

该论文提出CirCNN，一种使用块循环矩阵表示权重和处理神经网络的基于FFT快速乘法的方法，能够从O（n2）减少计算复杂度并降低存储复杂度，同时保持准确性，并在FPGA、ASIC和嵌入式处理器上实现出较高的能效和性能表现。

Aug, 2017

通过在低维度的超平面和超球面上评估代价函数的海森矩阵，我们发现全连接神经网络和卷积神经网络的代价函数在它们的空间参数半径较大的固定范围内，具有异常的凸性和正曲率，此处我们称之为“金发姑娘区间”，该效应与神经元网络的初始化方法，包括公共初始化技巧之间有着密切的关联。

Jul, 2018

通过将快速矩阵向量乘法的特性定义为稀疏矩阵的积，我们引入了一种分治方法的参数化形式，可以自动学习很多重要的变换的有效算法，并且在机器学习流水线中可以作为通用矩阵的轻量级替代，以学习高效且可压缩的变换。

Mar, 2019

本文提出了一种新的循环滤波器（CiFs）和循环二值卷积（CBConv）算法，以及通过循环反向传播（CBP）提高二值卷积特征容量的方法，并将其应用于现有的深层卷积神经网络（DCNNs）来构建新的循环二进制卷积网络（CBCNs）。在ImageNet数据集上的实验结果表明，提出的CBCN模型可以实现61.4％的top-1准确率，比现有的XNOR方法的表现高出10％。

Oct, 2019

通过将输入点通过简单的傅里叶特征映射传递，使得多层感知机（MLP）能够学习低维问题领域中的高频函数。研究结果对计算机视觉和图形学领域中使用MLP表示复杂3D对象和场景的最新进展提供了启示。通过神经切比雪夫核（NTK）文献中的工具，我们展示了标准MLP在理论和实践中都无法学习高频的结论。为了克服这种频谱偏差，我们使用傅里叶特征映射将有效的NTK转换为带有可调节带宽的平稳核。我们提出了一种选择问题特定的傅里叶特征的方法，极大地提高了MLP在与计算机视觉和图形学相关的低维回归任务中的性能。

Jun, 2020

在机器学习领域中，研究神经网络和Transformer所采用的内部表示是一项重要挑战。本研究通过探索网络采用特定计算策略背后的原因，深入分析了样式化的单隐藏层神经网络和单层Transformer在解决模块化加法任务时学到的特征，并通过与实证观察相结合，为理解神经网络的计算机制作出了贡献。

Feb, 2024

提出了一种新的双层投影方法，其l1,inf范数在矩阵中的时间复杂度仅为O(nm)，在具有完全并行能力时为O(n+m)，同时还将方法推广到张量，并提出了一个引发线性并行加速和指数加速因子的分解的多级投影方法，结果是时间复杂度的下限为维度之和。实验证明，该双层l1,inf投影方法比文献中提供的最快算法快2.5倍，同时在神经网络应用中具有相同的准确度和更好的稀疏性。

May, 2024

本研究针对常微分方程的基本时间并行求解方法——Parareal，提出将神经网络作为粗略传播者的扩展。通过理论分析和数值模拟，展示了随机投影神经网络的高效性及其在Lorenz和Burger方程中的有效应用，证明了这一方法在提高计算效率的同时不影响精度。

Aug, 2024