提出使用 binary-encoded labels 来进行回归问题，该方法可以通过利用二进制分类算法来提高准确性并具有误差校正功能，与其它专门化方法和直接回归方法相比较，有更低的误差

Dec, 2022

本文基于机器学习算法对分类变量进行编码技术探究，通过对比不同编码策略和算法的实验结果，发现对训练数据中的特征进行正则化后的目标编码技术能够提供最好的结果，并且传统编码技术在部分情况下不如目标编码技术。

Apr, 2021

该研究构建了自定义正则化函数用于深度神经网络的监督训练，利用自动编码器得到正则化器，实现分段模型标签的训练，并在语义分割中展示了正则化策略对提高准确率的实验结果。

Apr, 2018

对于具有噪声标签的二元分类问题，正则化线性回归是一种有前景的方法。本文系统研究了正则化强度对通过最小化正则化最小二乘目标来解决二元分类问题的线性分类器性能的影响。通过在超参数化条件下，假设类别是由高斯混合模型生成的，其中有一个小于 1/2 的比例的训练数据被误标记，我们严格分析了岭回归、L1 和 L∞回归应用时产生的分类错误。特别地，我们证明了岭回归总能改善分类错误。我们证明了 L1 正则化引起稀疏性，并观察到在许多情况下，不考虑 GMM 的稀疏结构，可以将解稀疏化两个数量级而不会有明显的性能损失。对于 L∞正则化，我们证明了对于足够大的正则化强度，最优权重集中在两个相反符号的值周围。我们观察到在许多情况下，将每个权重压缩到一个位时几乎不会造成性能损失。这些观察结果具有重要的实际影响。

Nov, 2023

本文介绍了一种利用等级约束估计和低维度标签嵌入之间的对应关系发现的快速标签嵌入算法，该算法适用于多类和多标签数据集，并且其运行时间比朴素算法快效果显著，该方法在两个大规模公共数据集上进行了验证，并获得了最先进的结果。

Dec, 2014

通过引入新的神经元和池化函数，本研究使用深度学习工具研究了 $l_0$ 稀疏逼近问题，将其建模为前馈神经网络，并进行了有效的网络正则化。与传统的稀疏编码解决方案相比，所提出的深度编码器具有更快的推理速度，更大的学习能力和更好的可扩展性。此外，在任务驱动的损失下，可以方便地从端到端优化模型。数值结果证明了所提出编码器的优秀表现。

Sep, 2015

本文提出了利用排名约束估计与低维标签嵌入之间的对应关系来发现一种新的、快速的标签嵌入算法，并展示了其在多类问题和多标签问题中的应用，最终实现了指数级的运行时间优化，其中在两个大规模公共数据集上的结果优于现有技术。

Mar, 2015

本文提出在深度神经网络中，同时使用多个离散数据表示可以提高神经网络学习效果，并证明其比传统方法（如基于单一表示的 RvC 模型）更加有效。

Jun, 2020

证明了 L2 正则化线性自编码器在所有临界点处均对称并学习到解码器的左奇异向量作为主方向，相关结果说明了主成分分析算法、计算神经科学和学习的代数拓扑性质。

Jan, 2019

通过单元转换，在现有线性相对位置编码方法的基础上，提出了家族化的线性相对位置编码算法，实现了保持线性空间 - 时间复杂性的新相对位置编码方法框架，并在语言建模、文本分类和图像分类等各种应用中表现出了最先进的性能，强调了一个用于设计线性变压器相关位置编码方法的普适范例。

Jul, 2023