Oct, 2023

基于语言模型的元学习：在不平衡文本分类中的挑战与机遇

PDF
TL;DR检测违规言论内容是重要但困难的任务，机器学习是解决这一挑战的强大工具，本论文提出了一种元学习技术（MLT），将使用不同文本表示构建的个体模型结合起来，进一步提高对高度不平衡的分布和超出分布数据集的综合预测性能。
detecting out of policy speechmachine learningmeta learning techniquethreshold-moving techniquemlt approach
发现论文，激发创造
  • 多语言神经机器翻译的平衡训练

    该论文提出一种利用数据得分器来自动学习如何加权训练数据以最大化所有测试语言性能的方法，优于传统启发式方法，并提供对优化语言的灵活控制。

    Apr, 2020

  • 多语言和跨语言文档分类：元学习方法

    该论文提出了一种元学习方法，可以在有限资源的情况下进行文档分类，并在少量标记数据的情况下取得了较好的效果，涉及跨语言、多语言的情况。作者还对多个元学习方法进行了比较和调整，提出了一种简单且有效的调整方式，并在多语言上取得了新的最佳表现。

    Jan, 2021

  • 学习如何学习和预测：一种用于多标签分类的元学习方法

    本文提出了一种利用元学习方法和训练策略捕捉标签依赖关系的元学习方法，其训练策略用于交叉熵损失函数训练分类器，预测策略则用于预测。实验结果表明该方法可以更准确地进行多标签分类。

    Sep, 2019

  • Few-Shot 医学文本分类的元学习

    通过研究 meta-learning 和鲁棒性技术在基准文本和医学数据上的应用，我们发现 meta-learning 是基于文本的数据的合适框架，具有更好的数据效率和与 few-shot 语言模型可比的性能，并且可以成功地应用于医疗笔记数据，同时与 DRO 结合的 meta-learning 模型还可以提高疾病编码的最坏情况损失。

    Dec, 2022

  • 关于一种基于一致性感知元学习的可靠神经机器翻译方法

    本文提出了一种基于一致性感知元学习的神经机器翻译（CoNMT）框架，旨在解决当前 NMT 系统中由源多样性现象导致的翻译错误，实验结果表明，该框架能有效提高翻译质量并可靠地处理输入的多样性。

    Mar, 2023

  • 低资源自然语言处理遇上无监督语言模型：元预训练再元学习用于少样本文本分类

    使用元学习和无监督语言模型解决数据不足或需要适应未知分类的文本分类难题，并在情感分类数据集上表现出最先进的性能，因此预训练可能是更多 NLP 任务的少样本学习的有前途的解决方案。

    Aug, 2019

  • 神经网络中的元（脱离上下文）学习

    通过合成实验，我们发现了被称为 meta-OCL 的现象，该现象使 LLMs 更容易 “内部化” 广泛有用的文本的语义内容，并在适当的情况下使用它。我们在合成计算机视觉环境中进一步证明了 meta-OCL，并提出了两个假设：一个依赖模型在其参数中存储知识的方式，另一个暗示基于梯度下降优化器的隐式梯度对齐偏差可能是其原因。最后，我们思考了我们的研究结果对未来人工智能系统能力的暗示，并讨论了潜在的风险。

    Oct, 2023

  • 自然语言处理中使用基于 Transformer 的多任务学习的挑战与机遇：一项调研

    机器学习模型处理自然语言处理（NLP）中的多任务学习（MTL）及持续学习（CL）的挑战、机会和应用，以及对基于 Transformer 的 MTL 架构的系统分析。

    Aug, 2023

  • 分类问题的转换机器学习拓展

    该研究探讨了转化机器学习在药物发现中的应用和性能。通过利用各种领域的共同属性，TML（一种元学习算法）发展了优于传统模型的组合模型，从而提供了更高的预测准确性、改善的可解释性和更好的泛化能力。我们还探索了不同的机器学习分类器的有效性，其中没有一个分类器表现出明显的优越性，因此考虑到了像随机森林这样的集成分类器。我们的发现表明，随着训练数据集的增加，TML 在超越传统基础机器学习（ML）方面表现出色，因为它能够更好地逼近正确的假设、克服局部最优解，并通过结合不同分类器的能力来扩展可表示函数的空间。然而，这种优越性相对于所应用的重新采样方法而言，Near Miss 由于嘈杂的数据、重叠的类别和非线性类边界而表现较差。相反，随机过采样（ROS）在噪声和离群值的抵抗能力、改善的类别重叠管理能力和适应非线性类边界方面提供了更稳健的性能。

    Aug, 2023

  • 主题、领域和语言变化的桥梁：综合离域场景的评估

    在真实世界中，语言模型在超出分布范围的场景中的泛化能力变得更低，基于提示的微调方法在语义差异较大的任务中表现更好，而基于梯度的学习存在结构障碍的偏差问题。

    Sep, 2023