Mar, 2024

ICLN：面向决策聚焦学习的输入凸损失网络

PDF
TL;DR在决策问题中，通过学习预测模型与优化相结合可以提供更好的决策，本文提出了一种全局代理损失函数 ICLN，通过 Input Convex Neural Networks 学习任务损失，并在保持全局结构的同时适用于通用 DFL 框架。
decision-makinguncertaintypredictive modeloptimizationinput convex loss network
发现论文，激发创造
  • 无需可微分优化的决策导向学习：学习局部优化的决策损失

    本文介绍了一种全新的决策化学习方法，通过学习任务特定的损失函数代替了传统的基于代理的优化方法，与先前的工作相比，该方法不需要手工制定基于任务的代理，性能更好且更易用。

    Mar, 2022

  • 输入凸 LSTM: 一种基于凸优化的快速 Lyapunov 模型预测控制方法

    该研究基于输入凸神经网络（ICNN），提出了一种用于基于 Lyapunov 的 MPC 的新型输入凸 LSTM，旨在减少收敛时间、缓解梯度消失问题并确保闭环稳定性。模拟非线性化学反应器实验结果显示，相对于基准普通循环神经网络、普通 LSTM 和输入凸循环神经网络，梯度消失问题减轻并且收敛时间分别降低了 46.7%、31.3% 和 20.2%。

    Nov, 2023

  • 关于决策聚焦学习的鲁棒性研究

    Decision-Focused Learning（DFL）是一种新兴的学习范例，用于训练机器学习模型来预测不完整优化问题的缺失参数。DFL 通过集成预测和优化任务，在端到端系统中训练机器学习模型，从而更好地匹配训练和测试目标。然而，我们对这些模型在对抗性攻击下的性能知之甚少。我们采用了十种独特的 DFL 方法，并在针对预测优化问题设定的两种明确攻击下进行性能基准测试。我们的研究提出了假设，即模型的鲁棒性与其能否找到导致最佳决策且不偏离基本真实标签的预测高度相关。此外，我们深入洞察了如何针对违反此条件的模型，并展示了这些模型如何根据训练周期结束时实现的最优性而有不同的响应。

    Nov, 2023

  • 输入凸神经网络

    本文介绍了输入凸性神经网络的架构和方法，通过网络参数的约束使得神经网络输出成为输入的凸函数，实现了高效的推理、优化和学习，在多标签预测、图像完成和强化学习等方面具有更好的性能表现。

    Sep, 2016

  • 使用逆对比损失学习不变表示

    使用反对比损失、正则化 MMD 分散度等技巧，提出了一种用于学习不受干扰的不变表示的新算法，适用于二元和连续干扰变量。

    Feb, 2021

  • DF2: 分布无偏的决策导向学习

    DF2 是第一个专门设计用于解决模型失配误差、样本平均近似误差和梯度近似误差的分布无关的决策导向学习方法。通过在训练过程中直接学习预期的优化函数，我们采用基于注意力机制的模型架构来高效地进行数据驱动型学习。我们在合成问题、风力发电竞标问题和非凸性疫苗分配问题上评估了 DF2 的有效性。

    Aug, 2023

  • 训练的 Transformer 学习上下文中的线性模型

    研究注意力机制的神经网络 transformer 采用渐变流进行单个线性自注意层的训练，实现在新的预测任务中使用标记示例的测试提示时具有预测误差与测试提示分布上最佳线性预测器相竞争的能力，且在多种分布转换下具有鲁棒性。

    Jun, 2023

  • 决策导向学习：基础、现状、基准和未来机遇

    决策导向学习是机器学习中的新兴范式，通过训练模型来优化决策，在一个端到端的系统中集成预测和优化。本研究论文全面回顾了决策导向学习领域，深入分析了整合机器学习和优化模型的各种技术，引入了决策导向学习方法的分类体系，还对这些方法进行了广泛的实证评估，并提出了适用于决策导向学习的基准数据集和任务。最后，本研究提供了关于当前和潜在未来决策导向学习研究领域的有价值见解。

    Jul, 2023

  • 评分函数梯度估计以扩大决策导向学习的适用性

    该研究通过采用分布预测和采用得分函数渐近梯度估计来计算预测模型的决策焦点更新，以拓宽决策焦点学习的适用性，从而有效地应对两阶段随机优化问题。

    Jul, 2023

  • 具有局部收敛输入的神经网络（NNLCI）用于非结构网格中的超声速流问题

    利用局部收敛输入开发了一种神经网络模型（NNLCI）来高保真预测使用非结构化数据的问题，应用于考察凸起通道中无粘跨音速流动的不同凸起几何结构和位置对流动结构的影响进行系统化研究。

    Oct, 2023