transformer-based encoders | BriefGPT

关键词transformer-based encoders

搜索结果 - 8

优质修订铺就道路：增量序列标注中修订策略的详细评估方法
基于输入产生输出前缀的增量对话模型组件存在因局部模糊或错误假设而导致错误，修正过去的输出的能力是一种可取的特性，可以由策略管理。本文系统化并描述增量序列标注中的编辑和修订，并提出评估修订策略的度量指标。然后，我们将这种方法应用于比较三种基于
PDFa year ago
ARC-NLP 在 PAN 2023 中的表现：基于转换的自然语言推理用于写作风格检测
多作者写作风格检测的任务是在给定的文本文档中找出写作风格变化的位置。我们将该任务构建为一个自然语言推理问题，其中两个连续的段落成对。我们的方法侧重于段落之间的转换，并在任务中截断输入令牌。作为主干模型，我们采用了不同的基于 Transfor
PDFa year ago
自监督的时空关注社交群体活动识别 (SoGAR)
本文提出了一种使用自我监督变压器网络的社交组活动识别（SoGAR）的新方法，可以有效利用未标记的视频数据，通过利用变化的帧率创建局部和全局视图来提取空时信息，并通过提取来自同一视频的对比视图的特征的自我监督目标，确保跨空时域中的特征是一致的
PDFa year ago
对大型序列标注器进行集成和知识蒸馏，用于语法纠错
本文旨在改进 GEC 序列标记体系结构，特别是在大型配置中采用最新的基于 Transformer 的编码器进行集成。通过跨度级别编辑的多数投票方法来鼓励集成模型，我们的最佳集合在 BEA-2019（测试）上获得了 76.05 的 $F_{0
PDF2 years ago
极限零样本学习在极端文本分类中的应用
本文提出了一种使用预训练的 Transformer 编码器通过自监督对比损失学习实例和标签的语义嵌入的方法，即 MACLR，以解决极端多标签文本分类问题，包括 GZ-XMC、Extreme Zero-Shot XMC 和 Few-Shot
PDF3 years ago
EMNLP基于描述的标签注意力分类器用于可解释 ICD-9 分类
研究了多标签 ICD-9 自动编码方法，提出了一种基于描述 - 标签的注意力分类器，通过不同的 transformer-based 编码器在 MIMIC-III-50 数据集上评估，达到了强大的结果和可解释性。
PDF3 years ago
对比对抗训练改进的文本分类
该研究提出了一种正则化 Transformer-based 编码器 fine-tuning 用于文本分类任务的通用方法，并通过对干净和对抗性示例的对比学习来实现噪声不变表示，从而得到更好的文本分类效果。
PDF3 years ago
AAAI基于变压器的域外检测中的马氏距离再审视
本文研究了识别出领域外意图的方法，通过对多种上下文编码器和方法进行对比发现，在只使用领域内数据的情况下，基于 Transformer 的编码器 fine-tuning 可以实现更好的性能，而 Mahalanobis 距离与来自 Transf
PDF3 years ago