Jan, 2023

OPD@NL4Opt：优化问题命名实体识别任务的组合方法

PDF
TL;DR本文在 NL4Opt 竞赛的子任务 1（NER 任务）中提出了一种集成方法。我们首先在竞赛数据集上对预训练语言模型进行微调，然后采用差分学习率和对抗性训练策略来增强模型的泛化能力和鲁棒性。此外，我们还采用模型集成方法进行最终预测，在 NER 任务中获得了第二名的好成绩，达到了微平均 F1 分数 93.3％ 的水平。
ensemble approachnl4opt competitionner taskfine-tunemodel ensemble method
发现论文，激发创造
  • 一种自动化制定优化问题的新方法

    本文介绍了我们团队在 Natural Language for Optimization (NL4Opt) NeurIPS 2022 比赛中的获奖方案，分别采用了命名实体识别和生成模型等方法，成功解决了对应的子任务，并在比赛中获得了不错的成绩。

    Feb, 2023

  • VTCC-NLP 参加 NL4Opt 竞赛子任务 1：命名实体识别的集成预训练语言模型

    本文使用三个预训练的语言模型（XLM-R、BART 和 DeBERTa-V3）作为上下文嵌入的增强，用于命名实体识别，最终在 NL4Opt 竞赛子任务 1 上取得了 92.9％ 的 F1 得分，并排名第五。

    Dec, 2022

  • 使用大型预训练语言模型的低资源命名实体识别：SemEval-2022 任务 11 中的 SFE-AI

    本文描述我们在 SemEval 2022 任务 11 中使用 Transformer 层自适应地整合多个预训练语言模型进行实体识别，在波斯语和荷兰语方面表现优异。

    May, 2022

  • 医疗文本中的少样本命名实体识别

    本研究在仅有 10 个注释示例的情况下，通过使用预训练权重、超参数调整、预处理数据、自定义词嵌入和优化词外词汇等 5 个因素改善了命名实体识别任务，并将其 F1 得分从 69.3% 提高到 78.87%。

    Nov, 2018

  • 深度学习中的混合和集成模型在自然语言处理中的综述

    该研究综述了自然语言处理中混合和集成深度学习模型的广泛探索，揭示了它们在情感分析、实体识别、机器翻译、问答、文本分类、生成、语音识别、摘要生成和语言建模等多种任务中具有的变革潜力。研究系统地介绍了每个任务，从循环神经网络 (RNNs) 到基于 Transformer 的模型如 BERT，阐述了它们的性能、挑战和计算需求。强调了集成技术的适应性，突出了它们增强各种自然语言处理应用的能力。还讨论了在实施过程中的挑战，包括计算负载、过拟合和模型解释复杂性，以及解释性和性能之间的权衡。作为精炼而宝贵的指南，该综述综合了有关任务、模型结构和挑战的见解，为研究人员和从事自然语言处理的从业者提供了一个综合的视角，以通过集成深度学习在自然语言处理中推进基于语言的应用。

    Dec, 2023

  • 多语言 NER 对抗性输入的鲁棒性评估

    本文在多种语言中对命名实体识别 (Named Entity Recognition, NER) 进行了对抗性评估，并尝试使用对抗性数据集作为训练数据或微调数据以提高 NER 模型的性能。结果表明，这两种方法均可提高英语、德语和印地语的 NER 性能，但对于德语和印地语而言，重新训练的效果更好。

    May, 2023

  • 使用 Loss 集合扩展神经网络的文本分类模型

    本文提出了一种基于集成技术的神经网络扩展，该神经网络具有集成损失函数用于文本分类并通过神经网络的梯度传播优化方法调整每个弱损失函数的权重，在多个数据集和不同程度的标签噪声下，与其他方法相比表现更好，具有较强的抗噪声能力。

    Nov, 2017

  • 使用自适应教师学习和细粒度学生集成的远程监督命名实体识别

    本文提出了一种适应性教师学习和细粒度学生集成的神经网络模型，用于解决 Named Entity Recognition 中远程监督训练数据不足和训练标签不准确的问题，实验证明该方法显著优于现有的最佳方法。

    Dec, 2022

  • 少样本命名实体识别：综合研究

    本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

    Dec, 2020

  • 基于拓扑数据分析的语言模型多样性集成

    使用拓扑数据分析 (TDA) 基于距离测量，提出了估计自然语言处理 (NLP) 模型权重的方法，通过对模型的性能和相似性进行综合评估，改进了集成学习方法，提高了文本分类准确性和相关的不确定性估计。

    Feb, 2024