AAAINov, 2019

用于短文本会话的相关推广语言模型

PDF
TL;DR通过使用语言模型并针对短文本会话任务进行培训策略的量身定制，提出了一个与短文本会话任务更加适配的关联提升变压器语言模型，并在多个参考文献中推断其相关性线索来进一步优化其查询表示，这在大中文数据集上证明了优越性。采用随机策略来减少生成通用响应。
short-text conversationlanguage modelingrelevance-promoting transformersupervised source attentionrandomization-over-maximization
发现论文，激发创造
  • 利用序列到序列模型生成高质量和信息丰富的对话回复

    该文研究应用序列到序列模型解决对话响应生成问题的方法，使用基于注意力机制的解码器保证响应内容连贯性，并提出了一种名为‘glimpse-model’的实用方法以适应大型数据集，并使用随机 beam 搜索算法注入多样性来增加生成可接受响应的比例和整体响应长度。

    Jan, 2017

  • 提升语义相关性，用于中文社交媒体文本摘要的序列到序列学习

    本文通过引入一种基于语义相关性的神经模型，旨在提高汉语社交媒体摘要中源文本和摘要之间的语义相关性，使用编码器 - 解码器框架，通过最大化表示之间的相似性得出结论，实验表明，该模型在社交媒体语料库上优于基线系统。

    Jun, 2017

  • 一种加强主题感知的卷积序列到序列模型用于抽象文本摘要

    本文提出了一种深度学习方法来解决自动摘要任务，通过将主题信息结合到卷积序列到序列 (ConvS2S) 模型中，并使用自举式非监督序列训练 (SCST) 进行优化。通过联合关注主题和单词级别对齐，我们的方法可以通过有偏的概率生成机制改善生成摘要的一致性、多样性和信息量。与 SCST 类似的强化训练直接根据不可微度量 ROUGE 优化所提出的模型，在推理期间也避免了曝光偏差。我们在 Gigaword、DUC-2004 和 LCSTS 数据集上对最先进的方法进行了实验评估。实证结果证明了我们所提出的抽象摘要方法的优越性。

    May, 2018

  • 基于语言建模的多任务学习：问句生成

    本文探讨了答案感知的问题生成任务，提出了在基于注意力机制的指针生成模型中，通过将语言建模转化为辅助任务，将问题生成纳入分层多任务学习结构。我们的联合学习模型使编码器能够学习到更好的输入序列表示，从而指导解码器生成更连贯、流畅的问题。在 SQuAD 和 MARCO 数据集上，我们的多任务学习模型提高了性能，取得了最先进的结果。此外，人类评估进一步证明了我们生成的问题的高质量。

    Aug, 2019

  • 通过随机过程进行语言建模

    该研究提出了一种名为 Time Control 的语言模型，它可以通过隐式的随机过程规划文档，从而解决生成长文本时的连贯性和一致性问题，相对于领域特定的方法和精调 GPT2，Time Control 在文本填充和话语连贯性方面表现更好，更受人工评价者的青睐。

    Mar, 2022

  • 从自注意力到马尔可夫模型：揭示生成变换器的动力学

    通过研究自注意力模型与马尔科夫模型的等价关系，我们建立了一种简单而强大的框架来研究自注意力及其特性。

    Feb, 2024

  • 一种以强化学习为驱动的面向搜索型对话系统的翻译模型

    本研究提出了一种基于强化学习的翻译模型框架，该模型以关键字为基础，能够理解使用自然语言表示的信息需求，并通过注入相关反馈，采用单词选择方法来克服缺乏大规模数据集的问题。实验表明，该方法在两个 TREC 数据集上的有效性得到了证明。

    Aug, 2018

  • 基于预训练语言模型的知识迁移，提升基于 CTC 的语音识别

    基于 CTC 的自动语音识别模型一直比基于处理单元的编码 - 解码模型弱，本文提出了两种知识转移方法，借助预训练的 BERT 和 GPT2 来提高 CTC-based 模型的性能。在实验中，相对于不使用外部语言模型的基础模型，我们的方法将字符错误率降低了 16.1%。

    Feb, 2022

  • 使用编码器提示进行多语言端到端语音识别的快速语言适应

    通过引入自我条件 CTC 框架中的编码器提示技术，我们实现了 CTC 模型的语言特定适应，从而实现了多语言语音识别的端到端处理，并取得了平均错误率下降 28% 和低资源语言下降 41% 的显著效果。

    Jun, 2024

  • 具有局部约束的源目标自注意力

    本论文提出了一种基于 transformer 模型的新型神经机器翻译架构，采用自注意力机制加局部约束对 attention 接受场进行改进，实现了在多个翻译基准数据集上的最新 BLEU 最优结果。

    May, 2019