longformer | BriefGPT - AI 论文速递

关键词longformer

搜索结果 - 12

ACL通过关注多种标签嵌入进行准确和良好校准的 ICD 编码分配
该论文描述了一种新颖的自动 ICD 编码方法，结合了先前相关工作的几个思想。我们特别采用一种强大的基于 Transformer 的文本编码模型，并针对冗长的临床叙述，探索了将基本编码模型调整为 Longformer，或者将文本分成块并独立处
PDF5 months ago
LLVMs4Protest: 利用大型语言和视觉模型解读新闻中的抗议事件
大型语言和视觉模型已经改变了社会运动学者如何识别抗议活动并从多模态数据中提取关键的抗议属性。本文描述了我们如何通过对大规模预训练的转换器模型（包括 longformer 和 swin-transformer v2）进行微调，使用文本和图像数
PDF7 months ago
利用 BERT 语言模型进行阿拉伯语长文档分类
本文针对大量阿拉伯文文档分类问题，提出了两种简单而有效的机器学习模型，并对比了 RoBERT 和 Longformer 两个模型在不同数据集上的结果，结果显示我们的模型表现更优秀。
PDFa year ago
长文本中心理困扰原因的多类别分类
使用 Longformer 对社交媒体数据中的自述文本进行编码，从而发现与心理疾病的因果关系，取得了最新的 M-CAMS 数据集上的最佳结果，为分析抑郁症和自杀风险提供了有效途径。
PDFa year ago
使用语言模型理解政治极化：一个数据集与方法
通过使用语言模型分析美国政治体系中的政治极化，我们提供了对候选人立场的分析信息，以帮助选民了解其在经济、医疗保健、教育和其他社会问题上的观点，并进一步分析候选人的数据集和使用 “Longformer” 这样更强大的方式，找到每个候选人在其政
PDFa year ago
探索长程临床笔记语言建模的最佳间隔
本研究探讨了利用 Longformer 进行长文本的适应性训练从而更好地处理医学领域中的电子病历，实现了 10% 的 F1 值提升。研究表明提高模型对较长临床笔记的处理能力有助于提升其性能，但为达到不同的目标变量的最佳性能，需要不同的截断间
PDF2 years ago
LittleBird：高效、更快、更长的问答 Transformer 模型
提出了一个新模型 LittleBird，它是基于 BigBird 的改进版本，使用 Attention with Linear Biases（ALiBi）的更灵活、高效的位置表示方法，维护了准确性的同时，在速度和内存占用方面进行了优化。实验
PDF2 years ago
使用 BERT 和 Longformer 检测代码注释不一致性
利用 BERT 和 Longformer 模型检测自然语言告知语境下源代码评论中的不一致性，经过实验验证成功超越多种基线算法并获得与排除语言和词汇特征的最新模型相当的效果，同时探讨使用预训练语言模型检测不一致性和自动更新评论的未来研究方向。
PDF2 years ago
ACL长程变压器的自然语言处理任务效率
比较研究了多种 Transformer 模型的性能，发现长序列的改进版本在内容选择和查询引导解码方面有优势，但在处理远距离的信息和近似误差上有欠缺的地方。
PDF2 years ago
临床长序列变压器：Clinical-Longformer 和 Clinical-BigBird
该研究介绍了一种基于 Transformer 的语言模型，通过使用稀疏的注意机制来扩展最大输入序列长度，从而取得了在多项基准任务中超越 ClinicalBERT 和其他短序列变压器的显著成果。
PDF2 years ago
使用 Longformer 进行 MS MARCO 文档重排任务
本文研究了使用传统信息检索方法进行初检索，然后采用神经网络再排序模型的两步文档排序，使用了适合长文档的 BERT 模型变种 Longformer 在 MS MARCO 文档再排序任务上获得了最佳性能。
PDF4 years ago
Longformer：长文档转换器
Longformer 是一种基于 Transformers 的模型，采用能够线性缩放序列长度的自注意力机制，使得处理数千个记号以上的文档变得容易；与先前的一些工作不同的是，Longformer 同时进行了预训练和下游任务的微调，并在 Wik
PDF4 years ago