Aug, 2023

最小二乘最大值与加权泛化记忆机

PDF
TL;DR本文提出了一种新的记忆影响机制，通过引入最小二乘支持向量机（LSSVM）的记忆机制，在不改变原始 LSSVM 的等式约束的情况下，实现了对训练集的精确划分而无过拟合现象。提出了最大记忆影响模型（MIMM）和加权影响记忆模型（WIMM），证明这些模型可以退化为 LSSVM。此外，我们还为 MIMM 和 WIMM 提出了一些不同的记忆影响函数。实验结果表明，我们的 MIMM 和 WIMM 在泛化性能上优于 LSSVM，并在时间成本上比其他记忆模型具有显著优势。
memory influence mechanismlssvmpartitioningmimmwimm
发现论文，激发创造
  • 一种广义的加权优化方法用于计算学习和反演

    本文研究了回归模型的普适能力，用加权最小二乘优化方法，对有噪声数据的计算学习和反演进行了分析。权重方案编码了关于要学习的对象的先验知识和策略，权重来自先验知识可以提高学习模型的泛化能力。

    Jan, 2022

  • 通过记忆模仿提升低资源文本分类和生成的元学习

    文章提出了一种记忆模仿元学习方法，利用任务特定的记忆模块存储支持集信息，并构建模仿模块来强制查询集模仿存储在内存中的某些代表性支持集样本的行为，以提高模型对支持集的利用，进而在文本分类和生成任务中取得了优异的性能。

    Mar, 2022

  • 机器学习训练在实际处理内存系统上的实验评估

    研究探讨了基于内存为中心的计算系统中处理器内存访问瓶颈和大量能量消耗的解决方案，考察 PIM 架构对机器学习算法训练的潜力，通过评估经典算法在 PIM 和传统 CPU、GPU 上的性能、准确度和扩展性对比，表现出更高效的处理机制和更好的加速效果。

    Jul, 2022

  • 通用大型语言模型中的记忆化

    大型语言模型在记忆方面的挑战和机会，包括隐私、安全、版权等问题，并提出目前的研究方向。

    Oct, 2023

  • 最大边缘损失学习不平衡数据集

    本文设计了一种新的最大边距 (MM) 损失函数来解决类不平衡数据中存在的分类不平衡问题，并探讨了两种基于最大边界的决策边界位移方法在 LDAM 训练日程上的表现。

    Jun, 2022

  • 通过增量矩匹配克服灾难性遗忘

    本文提出一种名为增量矩匹配（IMM）的方法，通过权重传递、参数的 L2 - 范数、一种基于旧参数的变量丢弃等转移学习方法来解决神经网络中的灾难性遗忘问题，实现对先前任务和新任务的平衡，实验证明这种方法在各种数据集上均取得了最先进的性能。

    Mar, 2017

  • 利用内存中学习训练 AI 系统的能效限制

    学习内存（LIM）是一种最近提出的克服训练机器学习系统中基本内存瓶颈的范式。本文从理论上推导了使用不同的 LIM 方法来训练 AI 系统时能量耗散的新的理论下界，并扩展了这些限制，考虑了训练所使用的浮点运算数量、AI 模型的大小和训练参数的精度。

    Feb, 2024

  • 利用快速权重记忆学习联想推理

    通过针对 LSTM 模型进行增强性改进，本文提出了一个新的神经网络模型，命名为快速权重内存 (Fast Weight Memory)，该模型能够根据事实的状态表示进行组合，并生成一个联想推理，以解决在新的环境下出现的问题。该模型通过可微分操作对基础输入序列的每一步进行修改和维护，在不断变化的快速权重内存 FWM 的存储中，来更新和保持复合关系，并通过梯度下降的方法进行端对端的训练。该模型在组合语言推理问题，面向部分可观测的马尔可夫决策问题的元强化学习以及小规模词级语言建模方面表现出了卓越的性能。

    Nov, 2020

  • 一种自适应加权软边界的不平衡支持向量机分类的广义框架

    提出了一种新的广义框架，即自适应权重函数用于软间隔加权支持向量机 (AW-WSVM)，旨在增强标准支持向量机 (SVM) 中不平衡和异常值敏感性的问题，通过引入权重系数到非约束软间隔支持向量机，并在每次训练之前更新样本权重。在标准数据集和情感分类数据集上进行实验，结果表明所提出的广义框架在准确性、召回率和 G-mean 方面优于其他方法，验证了本论文中提供的加权策略的有效性。

    Mar, 2024

  • 基于投影的模糊最小二乘双支持向量机在类不平衡问题中的应用

    通过使用基于模糊逻辑的方法来处理类别不平衡和有噪声的数据集，对几种基准数据集和合成数据集进行了实验评估，结果显示所提出的 IF-RELSTSVM 和 F-RELSTSVM 模型在性能上优于基准算法，并进行了统计检验以验证所提出算法的显著性。

    Sep, 2023