MMSep, 2022

使用文本对文本转换变压器从短文本中提取关键词

PDF
TL;DR探讨了 Text-To-Text Transfer Transformer (T5) 语言模型在波兰语 (plT5) 中对短文本段进行内在和外在关键词提取的相关性。通过对新的波兰开放科学元数据语料库（POSMAC）的评估，比较了四种不同方法得到的结果，其中 plT5kw 模型在频繁和稀疏表示关键词方面得到了特别有前途的结果。还讨论了模型在新闻和电话对话稿件的表现，并尝试在内在和外部关键词提取的情况下评价文本模型的挑战。
text-to-text transfer transformerpolish open science metadata corpuskeyword extractionplt5kw modelcross-domain text labelling
发现论文，激发创造
  • 使用文本到文本模型进行波兰语转移学习的评估

    介绍了一个用于评估波兰语文本生成模型的新基准。基准由多种任务和数据集组成，可以用于翻译、摘要和问答等自然语言处理任务的评估，并特别介绍了用于波兰语的通用文本生成模型 plT5。

    May, 2022

  • 印尼语多语 T5 转换器

    本文研究了将 mT5 多语言模型适应为仅针对印尼语的预训练 T5 模型，通过对多语言模型与本模型在情感分析、问题生成和问答三个任务的表现进行比较，结果表明可以生成一个更小的预训练模型并在 comparable yields 的同时减小模型大小高达 58％，而且所得模型需要更少的内存，加载速度更快，推理时间更快。

    Feb, 2023

  • 基于 Transformer 的文本摘要技术用于关键词生成

    本研究测试了四个基准数据集，使用流行的基于 Transformer 的模型进行抽象文本摘要，以实现关键词提取的目的，并将结果与常见无监督和有监督方法进行比较。研究结果表明，这些摘要模型非常有效地生成关键词，但它们产生的大量单词都不在作者的关键词列表中，这使得摘要模型在 ROUGE-1 方面效果不佳。此外，对于几种排序策略进行调查的结果表明，策略的选择会影响关键词生成的性能。

    Sep, 2022

  • 轮询潜在观点：使用变换器语言模型的计算机社会语言学方法

    使用 Transformer Language Models 等方法对 Yelp 评论进行语言行为学习，并利用 prompt-based queries 生成合成文本以分析特定观点，证明即使在缺乏特定关键词的情况下，这些模型也能准确产生具有正确情感的大量文本。

    Apr, 2022

  • 使用 Text-To-Text Transfer Transformer 研究支持与代码相关的任务

    本文利用自然语言处理中的 T5 模型并进行深度学习的预训练和微调，以实现支持自动修复代码、代码注释生成等与代码相关任务的性能优化。

    Feb, 2021

  • mT5: 一种大规模多语言预训练文本到文本的转换器

    本文介绍了 mT5，这是 T5 的多语言变体，基于新的基于 Common Crawl 的数据集进行预训练，涵盖 101 种语言，并展示了在许多多语言基准测试中的最新性能。我们还描述了一种简单的技术，用于在零 - shot 设置中防止 “意外翻译”。

    Oct, 2020

  • 控制关于对话参与者的额外文本属性 —— 一项英语到波兰语神经机器翻译的案例研究

    研究了机器翻译英语到波兰语的挑战，通过对多特征控制的翻译应用广泛的方法案例来解决这个问题。最佳模型表现出 5.81 chrF++ / 6.03 BLEU 的改进，并提出了波兰电视对话的属性标注数据集和用于评估模型属性控制的形态分析脚本。

    May, 2022

  • 数据到文本任务的文本到文本预训练

    本研究探讨了数据生成文本任务中的预训练和微调策略，实验表明，以 T5 为代表的文本预训练方法使得简单的端到端 Transformer 模型在数据生成文本方面的性能优于传统的神经网络体系结构以及其他预训练技术，如 BERT 和 GPT-2。T5 预训练技术在域外测试集上表现出更好的泛化能力，此研究希望成为未来研究的有益基础，随着转移学习在数据生成文本任务中的广泛应用。

    May, 2020

  • 基于 Transformer 的关键词生成的跨领域鲁棒性

    通过对领域之间的文本进行预训练和微调，我们探索了抽象文本摘要模型在关键词选择任务中的效果，并发现在样本数量有限的情况下，领域间的转移学习可以提高模型性能。

    Dec, 2023

  • 神经关键词生成：分析与评估

    本文研究了三种强大的编码 - 解码模型 (T5、 CatSeq-Transformer 和 ExHiRD) 的性能和行为，分析了预测置信度得分、模型校准和密钥短语生成的令牌位置对其的影响，提出了一个新的度量框架 SoftKeyScore。结果表明，相比于标准的 F1 指标，SoftKeyScore 更适合用于评估两组给定关键词。

    Apr, 2023