deberta | BriefGPT - AI 论文速递

关键词deberta

搜索结果 - 16

BERTs 是生成上下文学习者
本文探讨了掩码语言模型的上下文学习能力，挑战了常见观点，即这种能力在它们中并没有 ' 出现 '。我们提出了一种令人尴尬地简单的推理技术，使得 DeBERTa 能够作为一个生成模型进行操作，无需额外训练。我们的研究结果表明，DeBERTa 能
PDFa month ago
DrBERT: BERT 预训练中揭示掩码语言模型解码器的潜力
提出了多个增强的解码器设计，并引入了 DrBERT（经过解码器优化的 BERT）作为一种新方法进行模型训练，通过微调对原始 BERT 模型的解码器进行改进，有效提高了模型性能而不增加推理时间和资源使用。
PDF5 months ago
MM通过对抗权重扰动和特定度量注意力池化增强论文评分
通过数据科学技术（包括机器学习、自然语言处理和教育数据分析），利用自然语言处理的 BERT 相关技术改进针对英语学习者（ELLs）的自动化反馈工具，以提高 ELLs 的写作能力评估。
PDF6 months ago
超越相关性：大型语言模型是否学习到空间的因果表征？
通过表示相似性分析和线性和非线性探测，我们发现了 DeBERTa 和 GPT-Neo 中潜在的空间表示，并通过因果干预实验证明了空间表示对模型的下一个词预测性能和依赖地理空间信息的下游任务的影响，这些实验证明了大型语言模型在解决地理空间相关
PDF6 months ago
PROPRES: 探索各种触发器和环境中的预设语的项目性
项目性等词设想和词语公推等范围应该在言语理解研究中得到充分考虑。
PDF7 months ago
DeepLearningBrasil@LT-EDI-2023：探索社交媒体文本中用于检测抑郁症的深度学习技术
本研究旨在通过深度学习方法，结合 RoBERTa 和 DeBERTa 模型，并利用 DepSign-LT-EDI 任务对社交媒体文本进行分类，进一步加强对精神健康对话的理解，最终取得了优越的性能表现，同时提供了相关代码以促进透明度和进一步发
PDF8 months ago
基于 Transformer 的神经文本表示技术在错误分配中的比较研究
本研究通过使用 DeBERTa 技术，对 53 年的开源数据集进行了自动故障调整的任务进行了量化和定性分析，结果表明 DeBERTa 是在开发者和组件分配等任务中最有效的技术。
PDF9 months ago
ARC-NLP 在 PAN 2023 中的表现：基于转换的自然语言推理用于写作风格检测
多作者写作风格检测的任务是在给定的文本文档中找出写作风格变化的位置。我们将该任务构建为一个自然语言推理问题，其中两个连续的段落成对。我们的方法侧重于段落之间的转换，并在任务中截断输入令牌。作为主干模型，我们采用了不同的基于 Transfor
PDFa year ago
AAAIFactify 2: 多模态假新闻检测研究结果
社交媒体的迅速增长导致虚假新闻泛滥，因此自动检测和验证虚假信息的研究变得尤为重要。本研究介绍了 Factify 2 任务的结果，提供了一个多模态事实验证和讽刺新闻数据集，并使用基于多模态关系将社交媒体索求与支持文件进行比较，最终得到 81.
PDFa year ago
ACL通过生成问题语句的语言变体来求解数学应用题
该论文提出了一种用于解决数学问题的框架，该框架基于生成问题文本的语言变体，利用 DeBERTa 编码器构建解决方案表达式，通过对每个变体问题进行求解并选出获得大多数选票的预测表达式来改善数学推理和模型的鲁棒性。
PDFa year ago
评估最近大型预训练模型中的社会偏见
研究旨在探讨最新的预训练模型中是否比旧模型更负责任地发展，以便降低固有的社会偏见以及探究三个最近的模型（ELECTRA，DeBERTa 和 DistilBERT）在减少偏见方面的总体趋势。实验比较这些模型与基准 BERT 的关联指标，并发现
PDFa year ago
适应预训练语言模型以解决电子病历中的表格预测问题
本文提出了一种使用域适应来适应 DeBERTa 模型用于电子医疗记录任务的方法，并在包括 MIMIC-III 出院摘要和 PubMed 摘要在内的数据集上对其进行预训练。结果表明，该方法在紧急部门结果的三项基准测试任务中表现优于其他模型，并
PDFa year ago
二元分類法是否為多選問答的有效方法？
本研究提出将多选题回答任务改为二元分类，并且使用了 DeBERTa 模型，实现了对实际问题的有效解答。
PDF2 years ago
使用 Transformer 语言模型对社会政治文本进行零样本排序以减少读取时间
使用基于 Transformer 的 DeBERTa 模型将分类问题转化为蕴含问题，使得排名最高的文档可以被视为正分类文档，从而缩短信息抽取过程中的阅读时间，并发现一定的召回率下，使用声明性形式的类别标签作为查询可以优于使用字典定义的类别标
PDF2 years ago
一种基于 DeBERTa 的新型金融问答模型
该文介绍了基于 DeBERTa 预训练语言模型的金融问答系统在 FinQA 挑战赛中的应用，通过多模型融合和训练集组合等优化方法，输出准确度达到 68.99，程序准确度达到 64.53，排名第四。
PDF2 years ago
DeBERTa: 解码增强的 BERT（具有分离的注意力机制）
本文提出一种新的模型结构 DeBERTa，采用解缩融合模块和增强的掩膜解码器改进 BERT 和 RoBERTa 模型，在模型预训练和下游自然语言处理任务中显著提高效率和性能。它采用局部结构，实现了两种训练方法的密集耦合，不仅在 NLU 和
PDF4 years ago