Nov, 2023

XLNet 模型应用于论证要素标注建模

PDF
TL;DR该研究证明了 XLNet 在标记劝说性文章中的争论元素方面的有效性。XLNet 的体系结构采用了一种循环机制，使其能够模拟长文本中的长期依赖关系。经过微调的 XLNet 模型应用于三个使用不同方案标注的数据集，分别是使用 ARROW 方案的专有数据集、PERSUADE 语料库和 Argument Annotated Essays (AAE) 数据集。XLNet 模型在所有数据集上均取得了强大的性能，甚至在某些情况下超过了人类一致性水平。这表明 XLNet 能够处理多样化的标注方案和长文本。对不同数据集上的模型输出进行比较还揭示了标注标签之间的关系。总体而言，XLNet 在模拟各种数据集上的论证结构方面表现出色，突出了它在提供论文组织自动化反馈方面的适用性。
xlnettransformer-based language modelannotating argumentative elementspersuasive essaysautomated feedback
发现论文，激发创造
  • 语言模型与自动化文章评分

    本文通过比较两种强大的语言模型 BERT 和 XLNet 以及传统模型（词袋和 LSTM），阐述了其神经网络架构，并使用线性代数符号和图表解释了 transformer 机制构架的优势，最终在 Kaggle AES dataset 中实现了超出人类水平的准确度。

    Sep, 2019

  • DialogXL: 一体化的 XLNet 多方会话情感识别

    本文介绍了我们使用预训练语言模型进行情感识别的研究，提出了使用增强记忆和对话感知自注意力的全能型 XLNet 模型 DialogXL, 通过对四个 ERC 基准测试的实验表明，该模型在所有数据集上都优于基线模型。

    Dec, 2020

  • 基于 Transformer 的自动辨识论述关系模型：跨领域评估

    该研究使用了 US2016 辩论语料库来训练基于 Transformer 模型的种类，以推测不同参数下论据的关系，最终在五个不同领域中评价模型的性能，得出了极高的 F1 得分，并确定了相对不依赖特定领域的模型。

    Nov, 2020

  • 使用基于注意力机制的神经网络从异构数据源中进行跨主题争论挖掘

    本文提出了一种新的句子注释方案，用于在任意网络文本上进行争议搜索的分析，得到的神经网络模型在准确度和 F1 分数上均优于传统的双向 LSTM 模型。

    Feb, 2018

  • 使用迁移学习和主动学习进行高效的论证结构提取

    本研究提出了一种基于 Transformer 的上下文感知论点结构预测模型，该模型在五个不同领域中显著优于仅编码有限上下文或仅依赖特征的模型，并提出了模型无关的样本获取策略，可推广到各种领域。通过大量实验证明，在进行跨领域的主动学习早期阶段，结合迁移学习，可进一步获得显著提高的 F1 得分（5-25）

    Apr, 2022

  • 使用 XLNet 进行句子后编辑的 XL-Editor

    本文提出了一种名为 XL-Editor 的框架，通过可变长度插入概率使得 XLNet 模型可以修改给定的句子并进行后处理操作，无需按照自左向右的生成顺序；基于此，本文首先在文本插入和删除任务上展示了 XL-Editor 的改进效果，随后在非成对文本风格转换任务中实现了重大进展。

    Oct, 2019

  • 使用 BERT 和基于自注意机制的嵌入进行论点挖掘

    本文提出了一种新的论点挖掘方法，它采用基于注意力的嵌入进行链路预测，以模拟在线辩论中普遍存在的因果关系层次结构。

    Feb, 2023

  • SNU_IDS 参加 2018 年 SemEval 第 12 项任务：使用上下文向量的句子编码器进行论点推理理解

    本文提出了一种利用大型机器翻译数据集预训练的上下文化词向量作为迁移学习的简单神经网络模型，用于判断给定句子集合中逻辑是否合理并证明它是否真实。实验结果表明，相比于其他基线和非迁移模型，仅使用基于机器翻译的 LSTM 模型可以获得大约 70％和 60％ 的准确度。

    May, 2018

  • XLNet：语言理解的泛化自回归预训练

    我们提出了 XLNet—— 一种广义的自回归预训练方法，它通过最大化分解顺序的所有排列的期望似然来学习双向上下文，并且集成了 Transformer-XL 的思想，从而在 20 项任务中胜过了 BERT，包括问题回答、自然语言推断、情感分析和文档排名等方面。

    Jun, 2019

  • 社交讨论中的非监督式知识转移能否帮助论述挖掘？

    本研究提出了一种基于社交讨论的无监督学习策略，使用已预训练的语言模型，选择性地使用掩码语言模型任务进行微调，并引入了一种基于提示的策略，在将被提取的论点组件之间预测关系时支持上下文语境，此方法表现出了在本领域和跨领域数据集上超越了多个现有的和强基线模型的潜力。

    Mar, 2022