Apr, 2022

针对预训练和微调语言模型的大规模语篇结构理解

PDF
TL;DR本文针对预训练和微调语言模型中的语篇信息进行了深入分析，提出了一种新颖的推断语篇结构的方法，探讨了 BERT 和 BART 模型中内在语篇理解的精确性，同时评估了生成的结构与多种基准模型的相似性以及它们在模型内部和模型之间的分布。
bertologydiscourse informationpre-trained modelsfine-tuned modelsintrinsic discourse
发现论文，激发创造
  • 基于预训练和微调语言模型的对话中的话语结构提取

    本文研究基于 Pre-trained Language Models (PLMs) 的注意力矩阵构建对话结构的方法，提出了一种无监督和半监督的方法来定位和利用 PLMs 中的语篇信息，并在 STAC 语料库上获得了令人鼓舞的结果。

    Feb, 2023

  • 预训练语言模型的话语探测

    本文使用七种预训练语言模型，运用七种篇章探测任务，将研究重点从句子级别上升到文档级别上，最终发现 BART 是捕获篇章信息能力最好的模型，但只有其编码器部分表现最佳，BERT 作为基准模型也出奇地表现良好，并且不同层次的模型对篇章信息的刻画效果，以及模型之间的差距巨大。

    Apr, 2021

  • 利用预测编码增强 BERT 模型以提高语篇级别表征

    本文将预测编码理论引入 BERT 风格语言模型，以学习适当的语篇水平表示，实现了通过中间层进行顶部到底部的明显连接预测未来的句子，从而在语篇相关知识的基准测试中提高性能，特别是在语篇关系检测方面。

    Sep, 2021

  • 通过话语增强从情感注释到情感预测

    研究新架构用于情感分析的任务，结合了大规模的 MEGA-DT treebank 以及基于混合 TreeLSTM 分层注意模型的神经架构，通过情感相关的话语增强情感预测性能，实验结果显示，性能优于使用先前基于人类注释数据训练的良好建立的话语解析器的方法，同时演示了一个简单的组合方法如何进一步增强性能。

    Nov, 2020

  • 发掘神经言语解析器的能力 —— 使用大规模预训练的上下文和结构感知方法

    这篇论文提出了一个简单但高精度的 RST 语篇分析器，采用最近的上下文语言模型，表现出两个重要数据集，RST-DT 和 Instr-DT 的最新技术性能。研究人员还表明，在最近可用的大规模 “银标准” 话语树库 MEGA-DT 上预训练我们的分析器可以提供更大的性能改进，这为话语分析领域提供了一种新的有前途的研究方向。

    Nov, 2020

  • 基于 Transformer 神经摘要模型的篇章树预测

    使用预训练的神经网络提取文档级别的语篇树，研究发现总结中存在依存和从属语篇信息，这种信息通常被编码为单个头部，覆盖长距离和短距离的语篇依赖性。实验结果表明，学习到的语篇信息具有普适性和领域之间的可传递性。

    Apr, 2021

  • 两个基于语篇的语言模型用于语义

    本文提出了两个模型，即语义链模型和话语信息模型，并探究了四种实现方式。通过在语义自然语言处理任务中进行实验验证，证明我们的语义语言模型（SemLM）可以提高共指消解和话语分析等性能。

    Jun, 2016

  • 预训练如何改善基于语篇的翻译？

    本研究探讨了预训练语言模型在捕捉篇章关系上的能力，并通过探究任务验证了不同架构和层数的 PLMs 的表现，得出了对于不同 NMT 任务在何种情况下使用不同层的 PLMs 是最好的决策。

    May, 2023

  • 利用潜在话语推断预训练多方对话模型

    通过无监督潜在变量推理方法联合推断对话结构并预训练多方对话感知模型，实现了优于基线的最新技术结果。

    May, 2023

  • DEPTH：分层预训练的议程教育

    深度是一个编码器 - 解码器模型，通过在预训练过程中引入面向语篇的目标来提高语言模型在语篇层面上的理解能力。通过结合层次化的句子表示和两个目标：句子重排和跨度破坏，深度能够更快地学习语义和语篇级别的表示，从而拓展了 T5 在语篇能力方面的表现。

    May, 2024