我們提出了一種動態感測器選擇方法，用於深度神經網絡（DNNs），能夠針對每個具體的輸入樣本推斷出最佳的感測器子集選擇，而不是對整個數據集使用固定選擇。我們通過 Gumbel-Softmax 技巧在端到端的方式中聯合學習了這種動態選擇，在標准反向傳播中學習離散的決策。然後，我們展示了如何使用這種動態選擇來增加無線感測器網絡（WSN）的壽命，通過對每個節點允許傳輸的頻率施加限制。我們通過包含動態空間濾波器進一步提高性能，使得任務 - DNN 能夠更好地處理多種可能的節點子集。最後，我們解釋了如何在 WSN 的不同節點之間分配最佳通道的選擇。我們在身體傳感器網絡的情境中驗證了這種方法，其中我們使用真實的腦電圖（EEG）感測器數據來模擬 EEG 感測器網絡。我們分析了傳輸負載和任務準確性之間的權衡結果。

Aug, 2023

论文提出了一种端到端的神经网络优化框架，通过同时考虑分类误差和批量激活损失，使用 Gumbel 重参数化来学习网络结构，在训练和推理中均能支持网络修剪与条件计算，实验结果在 ImageNet 分类任务中获得了 45-52% 的计算量降低。

Dec, 2018

本研究提出了一种基于 Gumbel-softmax 重参数化方法的边缘 - 云计算网络最佳流量分配方案的求解方法，可通过无监督学习训练出 Gumbel-softmax 采样网络来解决离散优化问题，并且该方法适用于波动性计费且在可行性和成本函数价值方面都表现出优异的性能。

Jul, 2023

本文提出了一种基于多层感知机（MLP）网络的嵌入式特征选择方法，并将其推广到面向组特征或传感器选择问题，该方法可以控制所选特征或组之间的冗余级别。此外，我们还将组套索惩罚推广为特征选择的机制，以在同时保持对冗余的控制的情况下选择有价值的组特征。在适当的假设下，我们建立了所提算法的单调性和收敛性，并通过一些基准数据集上的实验结果展示了所提方法在特征选择和组特征选择方面比一些最先进的方法具有良好的性能。

Oct, 2023

本论文介绍了一种新的 Gumbel-Softmax 梯度估计器，用于处理类别离散型变量，能够有效地支持半监督学习以及结构化输出预测和无监督生成建模任务，并且可以通过渐进式的方式向分类型分布过渡。

Nov, 2016

在扰动模型框架下，我们使用随机 softmax 技巧（stochastic softmax tricks）对 Gumbel-Softmax 技巧进行了推广，将其推广到组合空间。与基线相比，我们发现使用随机 softmax 技巧可以训练表现更好、发现更多潜在结构的潜在变量模型。

Jun, 2020

该论文提出一种使用修改过的 Gumbel softmax 函数的无监督模型来学习词义嵌入，该模型可以进行可区分的离散词义选择，并通过多个基于相似性的下游评估实现了有竞争力（有时是最先进的）的词义嵌入。虽然该模型在下游评估任务上表现出色，但与竞争多词义嵌入的可解释性比较中发现，评估任务的性能与词义嵌入的可解释性不相关。该方法实现了最优选，既能够实现良好的下游任务性能，又能够产生可解释的嵌入且减少同义分组的学习。

Apr, 2018

本文介绍了一种名为 CGGM 的新颖图生成模型，用于在动态图中生成属于少数类的更多节点，并通过自适应稀疏性增强了灵活性，使用多维特征生成器（MFG）生成节点特征和拓扑信息，并通过多阶段损失调整合成数据的分布以更好地模拟真实数据，实验证明 CGGM 的合成数据在各种指标上优于现有方法，有效增强了多类别分类模型的性能。

Feb, 2024

本研究提出了一种特征选择 Graph Neural Network（FSGNN）模型，通过解耦节点特征聚合步骤和深度，使用 softmax 作为聚合的特征的正则化器和 L2 规范化技术，实现了对不同聚合的特征的作用进行实证分析，最终在 9 个基准数据集上创建了一种简单而浅的模型，取得了比现有 GNN 模型更好的性能。

Nov, 2021

我们研究了上下文特征选择的问题，提出了一种新的条件性 STG 模型，通过建立超网络和预测网络的联合模型，在学习预测函数的同时，根据特定背景和上下文变量选择最具信息量的特征，实现了更好的预测性能和解释性。

Dec, 2023