EMNLPSep, 2019

低资源自然语言处理中的实践方法：开发集

PDF
TL;DR本文研究利用发展集进行早期停止与仅基于发展语言调整训练时长的两种低资源自然语言处理方法，其对于模型性能的影响，结果表明实验设置的合理性对于准确性有着至关重要的作用。
development setslow-resource natural language processingneural modelsexperimental setupsearly stopping
发现论文，激发创造
  • 低资源场景下自然语言处理的最近方法综述

    本文调查了低资源自然语言处理的相关方法，其中包括数据增强、遥感监视和迁移学习等技术以帮助在需要训练数据较少的情况下提高神经模型的性能，并通过说明这些方法的差异帮助选择适合特定低资源设置的技术。

    Oct, 2020

  • 低资源研究中的高资源方法学偏差

    本文研究了低资源 NLP 中数据不足和数据质量不佳的影响，通过探究 POS 标注和机器翻译这两种任务的实验结果，得出了从高资源语言进行降采样的做法会带来偏差，这表明简单地降采样将引入数据偏差，不应作为低资源 NLP 系统开发的唯一解决方案。

    Nov, 2022

  • 停用集对文本分类中主动学习停止的影响

    本研究探究了不同的停止集选择对不同停止方法的影响，结果表明，停止算法的性能取决于停止集的选择，其中，基于稳定预测的停止方法的性能要强于基于置信度的停止方法，并且原始作者提出的无偏代表性停止集比最近发布的工作中使用的系统偏倚停止集表现更好，这些发现有助于阐明停止方法的这一重要方面的影响，这一方面在最近的发布工作中被忽视了，但对于重要的语义计算应用，如技术辅助审查和文本分类等，它对性能的影响可能很大。

    Jan, 2022

  • 低资源场景中 PoS 标注器模型的建模

    在资源匮乏的情景下，我们评估了早期学习曲线估计作为选择在非深度学习者应用的最适模型的实用机制，以提高性能并控制成本。使用西伊比利亚 - 罗曼斯语族中的加利西亚语作为案例研究，实验结果与我们的预期一致。

    Feb, 2024

  • 通过对比集评估模型的局部决策边界

    提出了一种新的 NLP 注释范例，通过创建对照集，意在消除测试数据中的系统性差距，从而更准确地评估模型的真实语言能力。创建 10 个多样化的 NLP 数据集的对照集并将其作为新的评估基准发布。

    Apr, 2020

  • 面向命名实体识别的现实单任务连续学习研究

    本文讨论了现实连续学习中的一些挑战和数据演习作为缓解精度损失的一种方式，并从现有公开数据集构建了一个连续学习 NER 数据集并公开发布其与代码给研究社区。

    Oct, 2021

  • 自然语言处理的高效方法：一项调查

    本文介绍了在资源有限的情况下，如何在自然语言处理中提高处理效率的方法和研究方向。

    Aug, 2022

  • 低资源语言建模中上下文的重要性

    研究了低资源语言模型预训练，当可用的句子少于 100,000 条时。在低资源情况下，统计 n-gram 语言模型优于最先进的神经模型，主要是因为前者专注于局部上下文。因此，引入了三种方法来提高神经模型在低资源环境下的性能，发现限制模型的自我注意力是最有效的方法，在英语、印地语和土耳其语等多种语言的下游任务中，NLI 和 POS 标记的准确性提高了高达 5%。

    May, 2022

  • 低资源语言：现有工作回顾与未来挑战

    本文回顾了 NLP 领域中解决低资源语言问题的先前重要进展，并分析了未来研究方向中的潜在改进。

    Jun, 2020

  • NusaWrites：为代表性和极度资源匮乏的语言构建高质量语料库

    对印尼本土语言进行案例研究的结果表明，原生说话者通过段落撰写所生成的数据集在词汇多样性和文化内容方面优质，有助于推广自然语言处理技术到较少研究的语言领域。

    Sep, 2023