text-to-text models | BriefGPT

关键词text-to-text models

搜索结果 - 7

ACLT2T LMs 中输出词汇在 SPARQL 语义解析中的作用
本文探讨了在 SPARQL 语义解析任务中，输出词汇对于文本到文本（T2T）模型的作用，观察到查询词汇不同于人类词汇，通过使用更符合 LM 分词器的词汇替换查询，可以在 GrailQA 数据集上获得 17% 的绝对增益。
PDFa year ago
ACL从文本中提取受害者人数
人道主义领域的决策者需要实时和准确的信息，在危机事件中了解受伤的平民数量对于适当分配援助至关重要。将受害者计数提取作为回答问题（QA）任务，并探讨提取可靠性和鲁棒性，我们比较正则表达式、依赖解析、基于语义角色标注的方法和先进的文本到文本模型
PDFa year ago
极端多标记分类中的聚类引导标签生成
本文提出了一种用于极端多标签分类的标签生成方法，该方法利用预训练的文本生成模型，通过标签聚类信息对标签进行层次生成。该方法在四个常见的极端多标签分类基准测试中表现出色，尤其在影响较小的标签上表现更佳。此外，该方法生成的标签不仅实用，而且还具
PDFa year ago
EMNLP文本到文本多任务学习器是否受到任务冲突的影响？
该研究研究了多任务学习中的任务冲突和负转移的影响，发现新型的多任务学习架构采用共享编码器和语言模型解码器，跨多个任务表现良好。
PDF2 years ago
TRBLLmaker -- 基于 Transformer 的歌词内部关系识别器
本文主要介绍了使用 Transformer 架构的 GPT-2 模型实现歌曲歌词含义的生成方法，并且使用了 Genious API 获取了一些包含元数据及解释说明的歌曲数据集。
PDF2 years ago
使用文本到文本模型进行波兰语转移学习的评估
介绍了一个用于评估波兰语文本生成模型的新基准。基准由多种任务和数据集组成，可以用于翻译、摘要和问答等自然语言处理任务的评估，并特别介绍了用于波兰语的通用文本生成模型 plT5。
PDF2 years ago
零 - shot 泛化哪种语言模型架构和预训练目标最佳？
通过大规模模型比较和实验验证，本文发现预训练的 Transformer 模型在自然语言处理任务的零样本泛化能力中，部分结构和预训练目标优于其他模型，这为模型架构和目标选择提供了指导。同时，本文研究了预训练模型跨结构和目标的迁移，并提供源代码
PDF2 years ago