引言一个新的叫做 Continual Learning with Adaptive Weights (CLAW) 的做法，基于概率建模和变分推理来解决深度学习中连续学习的问题。实验表明，在分类准确率和解决 Catastrophic Forgetting 两个方面，CLAW 在六个项目中均取得了最先进的表现。

Nov, 2019

本文提出了一种弹性约束学习方法，通过权衡性能增益和放宽约束的成本来自适应调整要求，解决了在机器学习任务中面对多个要求的问题，例如公平性、鲁棒性、安全性等；同时，作者在图像分类与异构联邦学习任务上展示了该方法的优势。

Jun, 2023

我们对神经网络模型学习算法进行了分类，并提出了一种新的算法来整合主任务信息和约束注入，同时提出了 $Heta$-score 作为度量主任务度量和约束违规的指标，在自然语言推理、合成传导示例和语义角色标记等自然语言处理任务上探索和揭示了各种算法达到高 $Heta$-scores 的关键因素。

Jun, 2024

本研究提出了一种基于约束学习的半监督学习方法，利用黑盒模拟器生成未标记数据进行训练并通过对抗训练实现生成模型的训练，提高模型在多种任务上的表现。

May, 2018

本文从最近使用机器学习来解决约束优化问题的尝试入手，重点调查了将组合求解器和优化方法与机器学习架构集成的工作。这些方法有望开发新的混合机器学习和优化方法，以快速预测组合问题的近似解并启用结构逻辑推理。本文概述了这一新兴领域的最新进展。

Mar, 2021

我们介绍了应对第五届 CLVision 挑战赛的方法，该赛事存在传统类别增量学习之外的独特挑战，包括先前遇到的类别的循环出现以及可能包含未标记数据的分布外类别。我们的方法基于赢得子网络，为每个任务分配独立的参数空间以解决类别增量学习中的灾难性遗忘问题，并采用三种训练策略：有监督分类学习、无监督对比学习和伪标签分类学习，充分利用标记和未标记数据的信息，提高每个子网络的分类性能。此外，在推断阶段，我们设计了子网络之间的交互策略，对于特定样本的特定类别的预测是对应于该类别的不同子网络之间的平均 logits，从而利用不同子网络对循环出现的类别学习的知识来提高分类准确性。这些策略可以同时应用于比赛的三个场景，有效解决比赛场景中的困难。实验结果表明，我们的方法在预选阶段和最终评估阶段均排名第一，在预选阶段的平均准确率为 0.4535，在最终评估阶段的平均准确率为 0.4805。

Jun, 2024

本文探讨在对比学习中通过新的概率模型进行的有效修改。通过推导一个特殊形式的对比损失函数，即联合对比学习（JCL），JCL 在搜索不变特征时具有更紧的约束条件。我们提出了对这种形式的上界的研究，这种上界允许端到端的训练方式中的解析性解决方案。尽管 JCL 在多个计算机视觉应用中实用，但我们也从理论上揭示了支配 JCL 行为的某些机制。我们证明了所提议的公式具有固有的机制，强烈倾向于在每个实例特定的类别内保持相似性，因此在搜索不同实例之间的辨别特征时仍具有优势。我们在多个基准上评估了这些提议，展示了对现有算法的显著改进。

Sep, 2020

本文提出 ICL—— 一种激励协同学习的通用框架，研究为什么和何时激励能够提高合作效果，并通过理论和实验结果展示了 ICL 在联邦学习、协同辅助学习和多臂赌博机等情景下的广泛应用。

May, 2023

本文提出一种无模型学习框架来解决无法推导出目标函数或限制条件的优化问题，同时将神经网络用于参数化所需优化的函数、参数化瞬时限制条件相关的拉格朗日乘数以及逼近未知的目标函数或限制条件。数值和模拟结果验证了所提出的框架的有效性，并以功率控制问题作为例子证明了模型无关学习的效率。

Jul, 2019

提出了一种统一的认知学习（CL）框架，它受灵长类动物大脑认知机制的启发，具有动态适应环境和任务的能力、自我学习能力，以及优秀驱逐劣质能力；并且经过了基于公开权威数据集的验证，可以丰富当前的学习框架并扩大应用范围。

Jun, 2021