Nov, 2022

利用神经模型中的连贯性和句法特征进行自动作文评分的潜力开发

PDF
TL;DR本文研究了自动论文评分中预测整体得分的多种方法，包括预训练的神经网络模型、连贯性模型和混合模型。提出了一种新颖的方法，利用基于 prompt-learning NSP 的论文连贯性特征提取和表示，通过采用句法特征密集嵌入增强 BERT-based 模型的性能，并结合连贯性、句法信息和语义嵌入进行实验，证明了优越性能。进一步分析对未来的研究也有用处。
automatic essay scoringneural modelcoherence featuressyntactic feature dense embeddingcombined model
发现论文，激发创造
  • 针对对抗性输入的神经自动化论文评分和连贯性建模

    研究 AES 中的对手输入问题，提出了基于神经网络的局部连贯模型，与现有 AES 模型联合训练，实现了对对手输入的有效识别，从而提高了神经作文评分模型的准确性。

    Apr, 2018

  • SkipFlow: 将神经连贯特征纳入端到端自动文本评分

    提出了一种基于 Deep Learning 的新型神经架构，通过建立 SkipFlow 机制在多个时序快照之间建立显性的语义关系，形成一种辅助神经内聚特征，提高了长文本评分的准确性与鲁棒性，同时在 ASAP 数据集达到了最新的表现。

    Nov, 2017

  • 一种用于连贯性建模的多任务学习方法

    本研究提出一种层次神经网络模型，通过多任务学习，同时预测文档层次的信息连贯得分和词级别的语法角色，利用两个任务之间的归纳转移，提高模型泛化能力，并在不同任务中达到了新的最优表现。

    Jul, 2019

  • 统一的神经连贯模型

    本文介绍了一种采用句子语法、句际连贯关系和全局连贯模式的统一一致性模型，该模型在局部和全局判别任务上表现良好，优于现有模型，并建立了新的最新技术成果。

    Sep, 2019

  • 利用相关图学习句法密集嵌入以进行自动可读性评估

    本研究提出了一种在神经网络模型中加入语言特征的方法，通过学习基于语言特征的句法密集嵌入，在语言特征间建立相关性图并利用其来学习嵌入来解决特征间的关系，实验证明该方法显著提高了自动易读性评估的性能，能够与 BERT 仅有模型相辅相成。

    Jul, 2021

  • 通过深度强化学习学习提取连贯摘要

    本文提出了一种名为 RNES 的增强型神经汇总模型，在使用无标签数据的情况下，通过机器学习的方式训练该模型以优化汇总的连贯性和信息重要性，并通过实验证明了 RNES 的性能优于现有的基准模型，达到了 CNN/Daily Mail 数据集的最新性能。

    Apr, 2018

  • 朝向连贯且凝聚的长文本生成

    本文提出了一种新的神经语言模型，它具备两个神经鉴别器，可以在句子层面（内聚性）和段落层面（连贯性）提供反馈信号，并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明，相对于基线（基于双向 MLE 训练的复发关注神经语言模型），我们的方法有效改善了模型表现。

    Nov, 2018

  • 使用韵律和语言特征探究基于内容感知的神经文本语音合成 MOS 预测

    该研究探讨了将韵律和语言特征作为 MOS 预测系统的附加输入的影响，发现包含 Tacotron 编码器输出和 BERT 嵌入等高级语言输入显著提高了句子和系统层面的预测准确度。

    Nov, 2022

  • 用于混合代码语言模型的句法和语义特征

    本研究针对语音识别中的 Code-Switching 现象，提出将语法和语义因素融入语言模型的方法，并对不同因素的效果进行了实验验证，结果显示采用 Brown 单词聚类、词性标注和开放类词语等因素可以有效减少语言模型复杂度，该最佳模型可以将错词率降低 3.4% 至 10.8%。

    Oct, 2017

  • 多任务学习增强提取式摘要的连贯性

    提出了一种多任务学习架构，用于基于从文本中提取摘要，其中包含摘要器和连贯判别器模块，通过预训练的转换模型（基于模型）和转换矩阵（MAT-based）将句子表示合并，实现了可微分训练，并以此最大化了连贯判别器的连贯度分数，并通过人工评估证实了我们方法提高了从原始文章位置开始提取的连续句子的比例以及有效保留了其他自动评估指标。

    May, 2023