使用规则表示控制神经网络
这篇论文提出了一种深度学习和逻辑规则相结合的通用框架,能够将逻辑规则的结构信息转移至神经网络的权重中,有效地提高了 CNN 和 RNN 的性能,适用于情感分析和命名实体识别等多个领域。
Mar, 2016
不需了解动力学的情况下控制动态系统是一项重要且具有挑战性的任务。我们提出了一种控制理论方法,通过加入可控性约束来增强数据估计的模型,从而实现从数据中提取更有效的控制器。该方法展示了基于深度神经网络的模型估计与解决方案性质的控制理论保证之间的联系,并在两个标准经典控制系统中证明了其优势。
Nov, 2023
本研究显示,采用具有修正线性单元作为激活函数的人工神经网络可以精确表示由线性时不变系统的模型预测控制的分段仿射函数。在神经网络中使用更深的网络具有特别的吸引力,因为它们可以表示比只有一个隐藏层的网络多指数个仿射区域。本研究提出了理论界限,用于决定一个神经网络必须具有的最小隐藏层数和每层神经元数,才能精确表示给定的模型预测控制规律。本方法具有成为预测控制规律的近似方法的强大潜力,可导致更好的近似质量和比以前的方法显著更小的内存需求,如模拟实例所示。我们还提出了不同的替代方案来校正或量化近似误差。由于在线评估神经网络非常简单,因此可以在存储容量较小的低功耗嵌入式设备上部署近似控制器,从而实现具有有限计算能力的复杂物理系统的先进决策制定策略。
Jun, 2018
通过结合基于规则的模型的全局和精确可解释性属性与深度神经网络的高性能,提出了一种名为 Truth Table rules (TT-rules) 的神经网络框架,可将神经网络有效转化为基于规则的模型,并在保持性能和复杂性平衡的同时,实现对大型表格数据集的适配。
Sep, 2023
通过提出神经网络框架 Truth Table rules (TT-rules),将规则模型的全局和精确可解释性与深度神经网络的高性能相结合,将神经网络转化为基于规则的模型,该模型在医疗应用中表现出与其他可解释方法相当或更高的性能。
Sep, 2023
本文提出了一种使用深度强化学习中的策略来压缩神经模糊控制器的算法,该方法通过蒸馏将深度神经网络里的模型精华提取并转化成较小的规则库,可以在保持灵活性的同时,提升模型的可解释性。作者在 OpenAI Gym 上进行了测试,取得与深度强化学习相当的表现,但只需 2 至 6 条模糊规则。
Sep, 2022
基于连续时间的表示学习模型 (CONTINUOUS-TIME REPRESENTATION LEARNING, CTRL) 在时态异构信息网络 (HINs) 上进行归纳表征学习。通过综合三个部分,即异构注意力单元、基于边缘的 Hawkes 过程和动态中心性,CTRL 模型能够保留异构节点特征和时间结构,以捕捉高阶网络结构的演化。实验结果表明,我们的模型在三个基准数据集上显著提升性能,超越各种最先进方法,模型设计的有效性得以证明。
May, 2024
本文研究了多层神经网络在控制方面的应用,特别是在连续高维动作任务中,通过强化学习训练后实现了控制策略,结果表明可以成功训练具有成千上万个参数的神经网络控制器,并比较了各种不同结构。文章讨论了这一问题与以往有监督知觉任务的区别,呈现了实验结果,并讨论了将深度学习技术应用于控制问题优化的未来方向。
Nov, 2013
本文提出了一种新的范式,使用一个可解释的二层神经网络学习一组独立的逻辑规则作为分类的模型,并提出一种基于稀疏性的规则得出算法,相比其他学习算法和黑匣子模型,该方法可以在分类准确性和简单性之间取得更好的平衡。
Mar, 2021
本文采用深度学习技术实现 Click-through rate(CTR)预测,并采用神经元级别检查模型内部状态,实施逐层性能测量探针方法,以及基于反向传播梯度的显著性分数计算来计算特征的影响。该模型可用于理解,监视,诊断和改进模型和算法的多个实际应用。
Jun, 2018