Feb, 2024

一种用于序列标注的有效结合异构知识的课程学习

PDF
TL;DR提出了一种针对序列标注任务设计的两阶段课程学习（TCL）框架，通过逐渐引入易难的数据实例来提高性能和训练速度，以增强序列标注模型的性能，通过在六个中文分词（CWS）和词性标注（POS）数据集上的实验证明了该模型的有效性，并表明 TCL 加速了训练并缓解了复杂模型的慢训练问题。
sequence labeling modelsexternal knowledgecurriculum learning frameworkchinese word segmentationpart-of-speech tagging
发现论文，激发创造
  • 基于半监督多任务学习的序列标注

    本文提出了一种序列标注框架，采用辅助训练目标，并通过学习预测数据集中每个词周围的单词进行语言建模，以此学习通用的语义和语法组合模式，并在不需要额外标注或未标注数据的情况下，实现在多个序列标注任务上取得一致的性能提升。

    Apr, 2017

  • 利用任务感知的神经语言模型增强序列标注

    本研究提出了一种新颖的神经网络框架，将预先训练好的字级知识和字符感知神经语言模型相结合，利用转移学习技术实现不依赖于额外监督信号的序列标注任务，并在基准数据集上通过大量实验验证了其有效性和高效性。

    Sep, 2017

  • 应用 GCN 结合深度句法和语义知识进行中文序列标注

    本文提出了一种新型的桥式结构特征和语义信息的汉语序列标注任务编码框架，并使用图卷积网络对其进行实现，实验结果表明，该模型可以有效提高汉语标注任务的性能。

    Jun, 2023

  • 从语言模型向序列到序列语音识别中迁移拼写知识：向教师学拼写

    本文提出了一种基于知识蒸馏的训练方法，将外部语言模型集成到序列到序列语音识别系统中，通过递归神经网络语言模型生成软标签来指导序列到序列模型的训练，以此来降低字符错误率。

    Jul, 2019

  • 利用课程学习增强时空分位数预测：经验教训

    使用创新的课程学习范式，从空间、时间和分位数角度分别针对性地处理三种形式的课程学习，并结合堆叠融合模块，提高了复杂时空问题的性能和学习效率。通过广泛的实证评估，展示了该框架的有效性，并通过详尽的剖析研究探讨了课程学习对提高时空数据学习效率的贡献。

    Jun, 2024

  • 序列标注：实用方法

    通过使用通用的基于 Bi-LSTM 的神经序列标注模型，其应用于广泛的自然语言处理任务和语言，结合从数据中提取的形态、语义和结构提示信息以进行有根据的预测，本研究在 8 个基准数据集上对其性能进行了评估，其结果在 4 个数据集上取得了最佳的表现。

    Aug, 2018

  • 基于分层课程学习的对话回复选择

    本文介绍了一种针对对话回复选择的匹配模型的学习方法，通过逐级加难的层次化课程训练框架对模型进行训练，提高其在识别对话上下文和回复候选之间的匹配线索以及识别二者之间不匹配信息的能力，实验证明该方法显著提高了模型在各项评估指标上的表现。

    Dec, 2020

  • 教师 - 学生课程学习

    我们使用 Teacher-Student Curriculum Learning（TSCL）框架进行自动课程学习，该框架依赖于一系列的 Teacher 算法，这些算法使得学生通过选择更好的子任务进行训练，并通过解决遗忘问题来提高学习速度。我们在两个任务中展示出 TSCL 的性能优于手工设计的 curricula，其中包括了对一个 Minecraft 的迷宫进行自动解决，并且在一个数量级上更快地学习。

    Jul, 2017

  • 战略数据排序：通过课程学习提升大型语言模型性能

    通过课程学习的数据中心培训策略，根据数据的不同指标进行排序可以提高大型语言模型的性能，而无需增加模型大小或数据集容量，从而解决大型语言模型培训中的可扩展性挑战。

    May, 2024

  • 神经机器翻译数据选择课程

    本文通过两阶段课程训练框架及对六种语言对的全面实验，证明了基于预训练方法和在线评分的确定性评分选择数据子集，对神经机器翻译模型进行微调训练的课程训练策略会显著提高 BLEU 质量（高达 2.2 个 BLEU），并且更快地收敛（更新次数减少了约 50%）。

    Mar, 2022