Feb, 2023

基于预训练和微调语言模型的对话中的话语结构提取

PDF
TL;DR本文研究基于 Pre-trained Language Models (PLMs) 的注意力矩阵构建对话结构的方法，提出了一种无监督和半监督的方法来定位和利用 PLMs 中的语篇信息，并在 STAC 语料库上获得了令人鼓舞的结果。
discourse processingdialogue structuresattention matricesplmssemi-supervised methods
发现论文，激发创造
  • 对话理解的结构预训练

    本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

    May, 2021

  • 针对预训练和微调语言模型的大规模语篇结构理解

    本文针对预训练和微调语言模型中的语篇信息进行了深入分析，提出了一种新颖的推断语篇结构的方法，探讨了 BERT 和 BART 模型中内在语篇理解的精确性，同时评估了生成的结构与多种基准模型的相似性以及它们在模型内部和模型之间的分布。

    Apr, 2022

  • 预训练如何改善基于语篇的翻译？

    本研究探讨了预训练语言模型在捕捉篇章关系上的能力，并通过探究任务验证了不同架构和层数的 PLMs 的表现，得出了对于不同 NMT 任务在何种情况下使用不同层的 PLMs 是最好的决策。

    May, 2023

  • 对话篇章解析和主题分割的无监督共学习

    通过主题分割和话语解析，我们提出了一种无监督的两种结构的互学习框架，以实现对话系统的全局目标和话语策略的一致性。实验结果表明，我们的方法在两个对话话语数据集（STAC 和 Molweni）以及对话主题数据集（Doc2Dial 和 TIAGE）上优于所有强基准模型。

    May, 2024

  • 使用树形自编码器进行话语结构的非监督学习

    通过无监督学习的隐式树归纳框架，提出了一种新的策略来生成结构化的文本，例如语法分析、话语分析等，以及更倍覆盖的话语树库，并在多个领域中展示了具有前景的结果。

    Dec, 2020

  • 结构化对话篇章分析

    该篇论文介绍了一种基于结构化编码和矩阵树学习算法的对话语篇分析方法，该方法通过编码和解码进行分析，不依赖手工特征，并在实验中达到了新的最优效果。

    Jun, 2023

  • 使用远程监督预测句子上文结构：以主题分割为例

    该研究提出了一种利用主题分割技术进行远程监督的方法来解决现代话语解析中由于数据稀缺问题所面临的困境，实验结果表明该方法能够有效地产生准确的树状结构并较之前的方法取得了更高的得分。

    Dec, 2021

  • 使用伪重述的方式进行后训练对话摘要

    该论文提出了一种基于预训练语言模型转换对话到叙述语言的技术，利用此技术可以显著提高对话摘要的性能，而且具有低的实施成本。

    Apr, 2022

  • 结构化文本表示中的话语评估

    通过结构化的注意力机制来获得文本的 RST 语篇树结构是一种学习蕴含语篇结构的潜在表示的有吸引力的替代方法。通过评估其他与语篇相关的任务和数据集后，我们发现这种方法并不能很好地捕捉文本的语篇结构，即使模型做了一些结构性的改进，也不能和基于现有语篇分析器的语篇依存树相提并论。最后，消融研究表明，结构化的注意力机制甚至有时会损害性能。

    Jun, 2019

  • 可扩展远程监督的大型话语树库

    本研究提出了一种使用情感分析辅助任务的 “银标准” 话语树框架，从而允许更大、更多样化和独立于领域的数据集训练话语解析器，以实现自然语言处理的上游任务，并在许多实际应用中具有强大的影响力。

    Oct, 2022