- 人类反馈非黄金标准
人工反馈被广泛应用于评估大型语言模型的性能，但目前尚不清楚这个单一的 “偏好” 得分到底捕捉到了生成输出的哪些特性。我们假设偏好得分是主观的，并且可能存在不可取的偏差。我们批判性地分析了人工反馈在训练和评估中的使用，以验证其是否充分捕捉到一 - 分布式包含假设和量化：探讨功能分布语义中的上位词关系
Functional Distributional Semantics (FDS) models learn hypernymy when trained on a corpus following the Distributional I - 具有明确转移概率的解耦扩散模型
本文提出了一种名为 DDM 的扩散模型，通过将复杂的扩散过程分解为两个相对简单的过程，来提高生成效果和速度，它通过显式转移概率近似图像分布，并通过标准维纳过程控制噪声路径；文章还提出了一个新的 DPM 训练目标，能够分别预测噪声和图像成分， - 反比缩放：大不一定好
通过运行一个公共比赛，我们在 11 个数据集上提供了逆比例缩放的实证证据，并确定了导致逆比例缩放的四个潜在原因。尽管大型语言模型在整体损失方面具有可预测的规律，但我们的结果表明，模型规模增加本身对某些任务可能不会产生进展，因此对于训练语言模 - 扩散模型的泛化性
通过定义通用性测量，本文研究了扩散概率生成模型的泛化能力。我们发现确定性采样器生成的数据与训练集高度相关，因此泛化能力差。通过实验，我们验证了足够训练的扩散模型与经验最优解之间的微小区别对于模型具有关键性影响，并提出了另一个无潜在泛化问题的 - 一致性扩散模型：通过学习一致性来缓解采样漂移
提出基于一致性约束的得分匹配方法，实验结果表明得到了 CIFAR-10 中条件和无条件生成的最新成果和 AFHQ 以及 FFHQ 的基准改进。
- 抽象文本摘要任务中的拒绝学习
本研究提出一种基于拒绝学习的训练目标和一种正则化的解码目标，以提高摘要文本的真实性和抽象性。与五种基准模型相比，我们的方法在自动和人工评估中显著提高了生成的摘要文本的真实性。
- AAAI隐式训练能量模型用于结构预测
该论文讨论了现有训练目标在处理复杂结构化输出方面的局限性，并介绍了通过隐式梯度技术学习动态损失景观以提高模型在结构预测中的性能的方法。
- MM利用时间衰减选择的顺序推荐的高效有效训练
本篇研究提出了一种基于最新性采样的序列推荐算法的训练方法，该方法尝试解决目前流行的序列推荐算法训练时间过长、无法充分利用数据的问题，并测试了多种现有的模型架构，结果表明该方法不仅能够有效地提高模型性能，而且训练时间大大减少。
- 使用本地神经转换在时间序列中检测异常
该研究提出了一种新的基于自监督深度学习的检测时间序列异常值的方法，该方法通过学习局部变换来提高时间序列异常检测的效果。实验结果表明该方法可应用于多个领域。
- ICML透过梯度学会使用新标记进行神经文本生成
本文引入了 ScaleGrad，一种对梯度的改进方法，解决了 MLE 在训练模型中会优先使用枯燥、重复短语的问题，并通过直接操纵梯度信息使模型学习使用新颖标记，该方法不仅在无限制生成中表现良好，而且在定向生成任务中也有效。
- 使用代理目标扩展集成分布蒸馏到多类问题
这篇论文提出了一种称为 “Ensemble Distribution Distillation” 的机器学习方法，通过训练 Dirichlet 分布来捕捉整个集成预测和不确定性估计。为了解决在大规模任务中 Dirichlet log-lik - 基于隐式反馈的物品推荐
本篇论文总结了商品推荐的独特特点和常见方法，讨论了训练目标的不同选择，提出了适合于常规推荐和点积模型的效率更高的学习算法，并探讨了商品推荐在检索任务中的应用。
- 基于能量的连续学习模型
本文介绍了基于能量的模型（EBMs）作为处理连续学习问题的一种有前途的模型，通过改变底层训练目标以避免对先前学习信息的干扰，提出了简单、高效且性能优良的 EBMs 版本，从多个基准测试中的表现来看，超越了基准方法。此外，本文还提出了基于对比 - 更好的损失函数为何会导致特征较差的迁移性？
本文探讨了在图像分类任务中使用多种损失函数和正则化器去提高测试精度，但是并不清楚这些损失函数是否可以学习出更好的下游任务表示。作者研究了训练目标的选择如何影响在 ImageNet 上训练的卷积神经网络的隐藏表示的可转移性，结果表明选择不同的 - ICMLDropout 的隐式和显式正则化效应
本文研究了 dropout 正则化方法的两种作用：修改预期训练目标的明显作用和训练更新的随机性所导致的额外的隐含作用。通过对实验的控制和分析，提出了可以替换 dropout 的简化分析正则化器。
- 数据失衡的 NLP 任务的 Dice Loss
本研究提出了一种新的 dice loss 网络训练目标替代 cross-entropy 目标，以解决 NLP 任务中数据失衡的问题，并且在多项任务中均取得了显著的性能提升。
- ICLR预测污染：针对 DNN 模型窃取攻击的防御
本文介绍了一种主动防御机制，针对深度神经网络模型窃取攻击进行干扰预测的方法，可有效应对多种难缠的数据集和攻击类型，并且表现出更优越的效果。
- ACL将 RNN 序列预测模型应用于多标签集合预测
本篇论文提出了一种适用于基于文本的多标签分类的 RNN 序列模型适应方法；其提出了一种基于一种原则的 “集合概率” 表示方法，在此基础上提供了新的训练目标和预测目标进行标签集的概率计算和预测，并且该方法在实验中优于当今的最优方法。
- ICML变分自编码器中的解缠纷问题
本文提出了 VAEs 的解耦合方法，即分解潜在表示，通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦，还可通过引入先验来实现其他更丰富类型的约束，并通过控制先验和潜在空间分布来改善解耦效果。此外，还介绍了另一套训练