t5 | BriefGPT - AI 论文速递

关键词t5

搜索结果 - 29

ACL多特征作文打分的自回归得分生成
通过自动回归多特征分数（ArTS）的预测来取代传统的编码器方法，使用预训练的 T5 模型来在多特征自动化作文评分中提供更高的效能。
PDF4 months ago
注意力对齐和灵活位置嵌入改进了 Transformer 长度外推
提出两种通过温度缩放实现的注意力对齐策略，改善了 T5 在语言建模、检索和多文档问答中对长篇文本的应用能力，无需进行微调。
PDF8 months ago
关于提示调整中技能神经元与稳健性的关系
Prompt Tuning 是一种流行的参数高效微调方法，可以在预训练的大型语言模型（PLMs）中激活特定的技能神经元，并与 T5 和 RoBERTa 模型的对抗鲁棒性进行比较。我们发现，对特定任务进行微调的提示可以迁移到相同类型的任务，但
PDF9 months ago
nanoT5：基于 PyTorch 的用于有限资源的 T5 风格模型预训练和微调的框架
T5 模型的计算要求限制了很大一部分研究社区，为了解决这个挑战，我们提出了 nanoT5，这是一个专门优化的 PyTorch 框架，用于高效的 T5 模型的预训练和微调，通过优化的方式，使用 nanoT5 可以在仅 16 小时内用单个 GP
PDF10 months ago
医学领域中语言模型距离 100% 几类样本命名实体识别有多远
本文旨在比较小型预训练模型和大型预训练模型在医疗 Few-shot NER 任务中的性能，并探索一种有效的实体识别器，称为检索和思考（RT）框架，该框架在 16 个 NER 模型上进行的实验表明，LLMs 在 Few-shot 医疗 NER
PDFa year ago
应用先进的 NLP 变压器和 LSTM 进行简历抽象文本摘要
本研究对多种 LSTM 和预训练模型（T5，Pegasus，BART 和 BART-Large）在开源数据集（Xsum，CNN/Daily Mail，亚马逊细粒度食品评论和新闻摘要）和简历数据集上进行了评估，其中 BART-Large 模型
PDFa year ago
从排行榜到实践的摘要生成：选择一种表示方法的骨干和确保稳健性
本研究分析了现有研究组件以选择系统骨干，发现 BART 比 PEGASUS 和 T5 表现更好；跨域总结器的表现要差得多，而在异构领域进行微调的系统在所有领域上表现良好。该研究强调了对异构领域摘要基准的重要性。系统输出存在相当大的差异，只有
PDFa year ago
GPT-Sentinel：区分人类和 ChatGPT 生成的内容
本论文提出了一种使用语言模型检测 ChatGPT 生成的文本与人工编写文本的新方法，并设计、实现和训练了两种不同的文本分类模型，使用了 Robustly Optimized BERT Pretraining Approach（RoBERTa
PDFa year ago
ACL针对法律和生物医学文本的编码器 - 解码器多标签分类方法探究
本研究比较了四种多标签分类方法，其中两种基于编码器，两种基于编码器 - 解码器。结果表明，在多个数据集上使用编码器 - 解码器方法比仅编码器表现更好，其非自回归编码器 - 解码器方法获得了最优表现。
PDFa year ago
ACL基础模型在斯拉夫语命名实体识别和词形还原任务中的应用探索
本文介绍了亚当・米茨凯维奇大学（AMU）的解决方案，用于对斯拉夫语言中的命名实体进行识别、分类和词形还原的任务，并且探索了使用基于 BERT 和 T5 模型架构的基础模型以及外部数据集来进一步提高模型质量的方法，并取得了令人满意的结果。
PDFa year ago
GETT-QA：基于图嵌入的 T2T Transformer 在知识图谱问答中的应用
提出了一种基于 T5 模型的知识图谱问答系统 GETT-QA, 它能够自然语言输入问题并在简化后产生意图的 SPARQL 查询，通过对实体和关系的标签进行解释，并利用截断 KG 嵌入进一步优化结果，在 Wikidata 数据集下获得了强有力
PDFa year ago
利用辅助数据探索和利用提高少样本泛化能力
该研究主要探讨了少样本学习与辅助数据（FLAD）的关系，提出了基于探索和开发策略的自动抽样算法（EXP3-FLAD 和 UCB1-FLAD）并应用于 T5 模型上，在 11 个数据集上表现出了 9% 的绝对改善。
PDFa year ago
AAAIGraphix-T5: 将预训练的 Transformer 与图感知层结合，用于文本到 SQL 解析
本研究提出了一种混合模型 GRAPHIX-T5，使用特定的图形感知层来增强预训练的文本到文本 Transformer 模型 T5 在 text-to-SQL 解析任务上的性能，在四个 SQL 基准测试中均获得更好的结果，尤其是在 EM 和
PDFa year ago
T5lephone：基于音素级 T5 模型的语音与文本自监督模型桥接技术来实现口语理解
本文研究使用不同分词策略的预训练语言模型对口语语言理解任务的影响，特别是在语音问答和语音翻译方面。通过使用音素文本进行预训练，创建了一个名为 T5lephone 的变种，并取得了 NMSQA 的最新成果，同时在端到端问答和翻译中超越了其他类
PDF2 years ago
抽象神经摘要器中的自我重复性
对神经文摘的自我重复进行定量和定性分析。分析了三种神经网络结构（BART，T5 和 Pegasus），发现 BART 特别容易出现自我重复，并且 fine-tuning 在更具抽象性的数据和在特定领域的数据上都会导致更高的自我重复率。
PDF2 years ago
RankT5：使用排序损失对 T5 进行文本排序微调
本文提出 RankT5，通过两种基于 T5 的排名模型结构来直接输出每个查询文档对的排名分数，并通过 ' 成对 ' 或' 列表 ' 排列损失进行微调以优化排名表现。实验表明，利用排名损失的所提出的模型可以在不同的公共文本排名数据集上取得实质
PDF2 years ago
大型语言模型如何改变机器改写抄袭
本文探讨了使用 T5 和 GPT-3 模型在 arXiv、学生论文和 Wikipedia 上生成机器的译文，并评估了六种自动化解决方案和一种商业剽窃检测软件的检测性能。结果表明，GPT-3 生成的译文质量可以与原始文本一样，而且难以区分真假
PDF2 years ago
EMNLP用预训练自回归语言模型提取因果信号三元组的 IDIAPers @ Causal News Corpus 2022
本文介绍了我们在 CASE-2022 下共享任务 Subtask 2 的提交，即使用 Casual News Corpus 进行事件因果性识别。我们使用预先训练的自回归语言模型 T5，通过迭代方法识别句子中的 cause-effect-si
PDF2 years ago
EMNLPEdiT5：使用 T5 预热进行半自回归文本编辑
EdiT5 是一种新颖的半自回归文本编辑模型，可在比传统的序列到序列（seq2seq）模型更快地推理时，能够建模灵活的输入 - 输出转换。该模型将生成过程分解成三个子任务：标记、重新排序和插入。EdiT5 的性能比 T5 在低资源环境下更好
PDF2 years ago
TREC 2021 深度学习赛道上的 PASH：多级排序的生成增强模型
本文介绍了 PASH 参加 TREC 2021 深度学习赛道所采用的稀疏和稠密检索方法，采用基于模型预训练的点对和成对排名策略，通过引入 T5 生成模型进一步提高了性能。
PDF2 years ago