AAAIJun, 2022

层次化上下文标记用于话语重写

PDF
TL;DR本文提出了一种基于分层上文标注的标注器，其中预测到的数个槽最终被上下文信息填充来重新编写话语，使其能够在涉及英语等会出现介词的语言时添加超出上下文范围的标记和多个跨度，并通过集群规则来截断规则分布的长尾。各种基准测试表明，使用本方法时，BLEU 点数高于最佳模型约 2 点。
utterance rewritingcoreferencestaggerhierarchical context taggerbleu points
发现论文，激发创造
  • 鲁棒对话话语改写的序列标注

    该论文提出了一种基于序列标注的对话重写模型，通过在 REINFORCE 框架下注入 BLEU 或 GPT-2 等损失信号，提高了生成语句的流畅度，进而在领域转移方面显示出比当前最先进系统更大的改进。

    Dec, 2020

  • 多轮对话中的对比学习句子重写

    该论文介绍了如何使用对比学习和多任务学习相结合的方法来提高上下文建模中的缺失语句重写系统的目的。实验表明，该方法在几个公共数据集上均达到了最先进的性能。

    Mar, 2022

  • 无监督的上下文重写技术，用于开放领域对话

    采用明确的语境重写方法，基于强化学习的上下文重写网络有助于候选检索，可解释的上下文建模以及在多轮会话中使用单轮框架。

    Oct, 2019

  • 基于串行贪心标记的不完整话语重写

    本研究提出了一种基于序列标注的模型，同时引入了说话者感知嵌入技术，以更好地从对话上下文中提取信息，实验结果表明该模型在所有九个还原分数方面都取得了最佳结果，另外，由于模型的简单性，我们的方法在推理速度上优于以前的大多数模型。

    Jul, 2023

  • 短文本拼写错误修正的层次字符标记器

    本研究提出了一种基于 Hierarchical Character Tagger 模型的短文本拼写错误纠正方法，该模型使用预训练的字符级语言模型作为文本编码器，并提出了一种分层多任务解码方法来缓解长尾标签分布问题。实验证明，HCTagger 模型比许多现有模型更准确，速度更快。

    Sep, 2021

  • 文本摘要的通用上下文重写框架

    通过将抽取和生成的方法相结合，利用生成模型提高了抽取式摘要的简洁性和可读性。本研究提出了上下文感知的重写方法，通过 group-tag alignments 将传统的抽取方式转化为生成方式，取得了显著的 ROUGE 分数提升。

    Jul, 2022

  • 文本摘要的上下文重写

    本文探讨了在提取式摘要中基于全文进行 contextualized rewriting，将其形式化为 seq2seq 问题，引入 group tag 作为解决方案来建立关联，通过基于内容的寻址方法识别提取式摘要，结果表明我们的方法明显优于非上下文的重写系统，无需采用强化学习，在多个提取式摘要生成器上显示出显着提高的 ROUGE 分数。

    Jan, 2021

  • 使用 LLMs 进行上下文话语解析的少样本适应性

    该研究评估基于大型语言模型的语义解析器处理上下文话语的能力，并考察了四种在对话式语义解析中适应上下文话语的范式的比较，研究表明 Rewrite-then-Parse 范式在综合考虑解析准确性、标注成本和错误类型时具有最大潜力。

    Sep, 2023

  • HMT：用于长文本语言处理的分层记忆变形器

    通过模仿人脑记忆层次结构，我们提出了分层记忆 Transformer（HMT）框架，以提高模型的长上下文处理能力，并通过在限定上下文和长上下文模型上的评估验证了其有效性。

    May, 2024

  • 神经主题分割中上下文建模的改进

    本文提出了一个基于层级注意力双向 LSTM 网络的主题分割器，通过添加相干性相关的辅助任务和受限制自注意力来更好地建模上下文，从而超过了 SOTA 方法，并在领域转移设置中证明了其鲁棒性和在多语言场景中的有效性。

    Oct, 2020