LISTA 及其延伸的设计空间研究
深度展开是一种新兴的学习优化方法，在可训练的神经网络中展开剪枝迭代算法的层，本文提出使用随机下降约束进行训练的深度展开结构，理论上证明了输出序列的收敛性和对未知问题的泛化能力，同时展示了对扰动和干扰具有鲁棒性的优势。
Dec, 2023
本文介绍一种自适应学习求解器 Ada-LISTA，它使用输入的信号及其对应的字典对来学习一个通用架构，用于解决包括字典扰动和排列在内的各种模型的稀疏编码问题。我们证明这种方案保证能够在线性速率下解决这个问题，并提供了广泛的数值研究来证明其实际适应能力。最后我们将 Ada-LISTA 应用于自然图像修复中，其中补丁掩码在空间上变化较大，因此需要这种自适应学习求解器。
Jan, 2020
本文综述了算法展开在信号与图像处理中的应用，特别是在深度神经网络中实现了可解释的网络结构，为未来的发展提供了可能性，并探讨了未来的研究方向。
Dec, 2019
该论文提供了对展开优化器反向传播的理论洞见，从而得到了一个系统，用于生成等效但可有效求解的分析模型，并提出了一种统一的展开和分析微分的方法。实验表明，该方法在各种结构预测和决策导向的学习任务中具有潜在的计算和增强表现能力。
Jan, 2023
通过代数视角来表达网络结构，我们提出了一种更具有广泛性的方法来设计搜索空间，并提出了一种 Bayesian Optimization 策略来高效地在巨大的搜索空间中搜索，实验证明我们的搜索空间设计和搜索策略可以优于现有基准。
Nov, 2022
我们提出了 LISSNAS，一种自动算法，它将一个大空间缩小为一个多样化的小搜索空间，具有 SOTA 的搜索性能。我们展示了我们的方法在不同大小和数据集范围的搜索空间上的效果，并在两个不同的搜索空间中实现了最佳的 Top-1 准确率。在移动约束下，我们的方法在 ImageNet 上实现了 SOTA 的 Top-1 准确率为 77.6％，具有最佳的 Kendal-Tau、架构多样性和搜索空间大小。
Jul, 2023
通过研究无穷展开网络（如 LISTA 和 ADMM-CSNet）中的平滑软阈值函数的优化保证，本文证明了存在于损失函数空间特定区域内满足 PL$^*$ 条件，从而保证全局最小值的存在和使用梯度下降方法的指数级收敛。此外，本文还比较了无穷展开网络与标准的全连接前向网络（FFNN）的训练样本数量阈值，并证明无穷展开网络具有更高的阈值，因此预期无穷展开网络的期望误差将优于 FFNN。
Sep, 2023
本研究提出了分布估计的新的比较神经网络架构方法，揭示了最新神经架构搜索设计空间变体之间的显著统计差异，并发现标准模型家族的设计空间可以与最近神经架构搜索工作中使用的更复杂的设计空间可以相媲美，以期为发现更好的视觉识别网络提供更健壮的进展。
May, 2019