在少样本情境中，本研究通过将低秩模块添加到模型的自注意力层中，并采用两种无导数优化方法来交叉优化这些低秩模块，展示出与现有的基于梯度的参数高效调整和无导数优化方法相比，在多个任务和语言模型上取得了显著改进，并在内存使用和收敛速度方面表现出明显优势。
Mar, 2024
使用贝叶斯优化方法开发的分析平台可以从瞬态光致发光实验中提取有机金属钙钛矿半导体的最多八个基础材料参数，该平台可以方便地应用于其他实验，加速材料的发现和光伏等应用中半导体材料的优化。
Feb, 2024
这篇研究论文提出了一种基于树搜索的无导数优化方法，借助机器学习模型逐步逼近全局最优解，有效解决高维复杂系统的优化问题，在各种基准函数上实现了高达 2000 维的全局最优收敛，比已有方法快 10 到 20 倍，具有广泛的应用性，可用于材料、物理和生物等领域，超越了现有算法，实现高效自主知识发现和虚拟实验室的自动化。
Apr, 2024
该研究评估了对于在标准基准上训练的模型使用 Carlini 等人 [1] 进一步加强的参数提取方法的可行性，引入了统一的代码库并发现计算工具可以显著影响性能；通过识别更容易和更难提取的神经元，开发了进一步的优化方案，将提取权重值的效率提高了 14.8 倍；改进后，在只有 98 分钟的时间内，成功地提取了一个在 MNIST 数据集上训练的具有 16,721 个参数和 2 个隐藏层的模型，相较于之前至少需要 150 分钟的时间，同时针对先前研究中观察到的方法论缺陷，提出了未来模型提取攻击的新型健壮基准测试方法。
Jun, 2024
在医学图像生成领域，我们提出了一个双层优化框架，通过利用记忆和生成质量指标作为奖励，指导自动参数选择，并成功地确定了最佳参数集来满足生成和记忆权衡。我们的实验结果表明，我们的框架在更新模型参数的同时，将模型参数的数量降至仅为 0.019%，在训练时有效地减轻了过度记忆问题，并且这些学习到的策略可以在不同的数据集和领域中得到应用。
May, 2024
研究无导数优化高维函数的方法，提出一种基于在线学习的方法，同时学习流形和优化函数，能够显著降低样本复杂性，经过实验证明有效性高于其他无导数优化算法。
Apr, 2020
本文研究了一种使用测量数据进行参数优化的算法，并在模拟数据上进行了验证。
Jul, 2023
本研究提出了一种名为 ASDK 的技术，它自动识别非线性关联的深度内核中的显著过程变异参数，并作为替代模型来模拟昂贵的 SPICE 模拟，以解决现代大规模电路中不可避免的维度诅咒问题，并进一步提高器件产出率估计效率。该方法的实验结果表明，其精度和效率均优于目前的最先进方法，且速度提高了 10.3 倍。
Dec, 2022
本文提出了一种适用于量子经典混合算法的顺序最小优化方法，解决了参数量子电路上的优化问题，比现有的基于梯度和无梯度优化算法更快更稳健，可用于优化近期量子设备的性能。
Mar, 2019
本文提出了一种基于 intra-distillation 和自适应学习的通用方法，用于平衡所有参数的灵敏度，从而提高模型的普适性和性能表现。实验结果表明，该方法有效地提升了机器翻译、自然语言理解和零 - shot 跨语言转移等不同领域的表现。
May, 2022