bert model | BriefGPT - AI 论文速递

关键词bert model

搜索结果 - 119

BERT 在风电功率预测中的应用 - 百度 2022 年 KDD 杯电力预测解决方案
如何将风能融入电网以实现碳中和和可持续发展，以及风能预测的挑战和解决方案。
PDFa year ago
高效自动风格下的心理形容词识别
最近几年，常识推理在学术界引起越来越多的关注。我们提出了一个新的词汇推理任务，即心理和物理分类（MPC），用于处理推理图中的常识推理。我们通过微调 BERT 模型并采用主动学习算法来减少所需的注释资源。使用 ENTROPY 策略的模型达到了
PDFa year ago
利用社交媒体判决文件进行犯罪类型分类
本文提出了一种新的基于 NLP 处理的训练模型，其中包括犯罪事实数据预处理模块（CFDPM）和使用改进的 Bert 模型的分类器，通过平衡数据集分布缺陷和生成新样本来解决犯罪类型分类中数据不均匀分布的问题，并在公共基准测试上取得了最新的最佳
PDFa year ago
KNSE: 一种知识感知的自然语言推理框架，用于对话症状状态识别
针对医学对话中的症状诊断问题，本文提出了一种基于 KNSE 模型的症状状态识别 (SSR) 框架，通过将 SSR 作为自然语言推理任务进行建模，并利用 BERT 模型对知识、猜测和意见进行编码，然后通过模块进行预测，实现了更好的定位和追踪症
PDFa year ago
CDJUR-BR -- 巴西司法的黄金法律文档收藏，包含细粒度命名实体
本文描述了巴西司法部的金标准收录（CDJUR-BR）的发展，其中包含了专家在法律文件中注释的一系列细粒度命名实体，并提供了一个基于 BERT 模型的 NER，其结果表明 CDJUR-BR 的优越性。
PDFa year ago
使用基于图谱的上下文信息增强语言模型以更好地理解文本数据
本研究实验证明在 BERT 模型中加入基于图形的上下文信息会提高模型性能，并在 Pubmed 数据集上取得了 8.51％到 7.96% 的错误率减少，同时仅增加 1.6％的参数。
PDFa year ago
探究子词分割对 Transformer 语言模型性能的影响
本文研究了形态素如何影响语言模型的性能，通过使用 StateMorph 对芬兰语和俄语进行训练，发现相比于 BPE 和 Morfessor，使用 StateMorph 能够使模型更高效地收敛并获得更好的验证分数。
PDFa year ago
ADVISE: 全球发展证据综述的 AI 加速设计
本研究介绍了一种利用 BERT 模型开发 AI 代理程序，结合人类团队设计全球发展证据综合产品的方法，探讨了活性学习策略的影响，结果表明，将 BERT-based AI 代理程序纳入人类团队可以降低人类筛选工作量 68.5％，而采用高优先级
PDFa year ago
SafeWebUH 参加 2023 SemEval 任务 11：在贬损性文本中学习注释者不一致性：直接训练与聚合的比较
本文使用四个数据集提供的 SemEval-2023 任务 11 训练数据，并微调 BERT 模型，以捕捉反对意见。研究结果表明，单独注释者建模和聚合降低了交叉熵得分平均约为 0.21，这进一步证明注释者元数据有助于平均降低互信息损失得分约为
PDFa year ago
实体解析的预训练嵌入：实验分析
本研究评估了 12 种语言模型在 17 个基准数据集上的效能，研究结果提供了各种语言模型的优缺点，帮助研究人员和从业人员选择最合适的模型。
PDFa year ago
基于 BERT 的临床知识提取用于生物医学知识图谱构建和分析
本研究提出了使用 BERT 模型和条件随机场层从临床记录中提取和分析生物医学知识的端到端方法，包括自然语言处理模型用于命名实体识别和关系提取等步骤，可以用于构建医学知识图谱并用于问题解答。实验结果表明，该方法对于 505 位真实患者的生物医
PDFa year ago
基于 Transformer 的文章时段预测模型
本文旨在通过使用文本文档预测其发布期，使用了自行创建的全面标记的数据集，并实现了一个简单的朴素贝叶斯基线模型和一个经过微调的预训练 BERT 模型，而结果则超出了我们的预期，在准确预测新闻文章发布年代方面表现出色，击败了此前在此相对未开发任
PDFa year ago
自监督和视觉基础预训练的电影票房预测
本文探讨了自我监督预训练和视觉定位内容关键字的效果，结果表明与相同架构的微调 BERT 模型相比，视觉定位预训练可以显著提高学习能力，并实现 14.5％的相对性能提升。
PDFa year ago
为预训练语言模型整合非语言线索而文本化多模态信息
本文研究了如何将非语言性特征（例如视觉和听觉）转化为对应的文本描述，并将其与口头文本结合，从而将多模态信息整合到基于文本的预训练大语言模型中。我们称此方法为 TextMI，并在情感、幽默和讽刺检测等多个下游任务中进行了 fine-tune，
PDFa year ago
提高自然语言处理变形金刚模型长期的分类可靠性
本研究比较不同方法用于长期分类任务的 BERT 模型的微调，发现使用所有可用的未标记评论来微调模型是最佳解决方案，而仅关注模型之前未遇到的单词的评论并不可取，其中一个更有效的解决方案是从新时期的评论中随机抽样评论。
PDFa year ago
结合自适应增强语义信息的知识图谱补全方法
该研究构建了一种知识图谱补全方法，通过微调 BERT 模型获取三元组中隐藏的语义信息，并使用注意力特征嵌入方法计算正负三元组中关系和实体之间的语义注意力得分，形成软约束规则来实现语义信息的自适应增强。此外，考虑到高维向量对影响，使用 BER
PDFa year ago
基于 XAI 模型的新型跨领域策略用于假新闻检测
本研究提出了一种四级跨域策略，通过使用来源域的知识，采用精细调整的 BERT 模型实现跨域分类，并使用 Anchor、ELI5、LIME 和 SHAP 等可解释模型来设计一种新的可解释跨域方法。经过实验分析，在不同跨域级别上很好地匹配了 X
PDFa year ago
用于辨识论据背后的人类价值观的 Touché23-ValueEval 数据集
我们提出了 Touché23-ValueEval 数据集，用于识别论据背后的人类价值观，并通过自动化检测方法，从 6 个不同源头的 9324 个论点中收集数据。该数据集相对于之前的数据集表现更好，尽管标签分布使分类难度增加，但更大的数据集可
PDFa year ago
基于 Actor-Critic 学习的混合规则 - 神经共引消解系统
本文提出了基于演员 - 评论家学习的混合规则 - 神经共指消解系统，它通过利用启发式规则和神经共指消解模型的优点来实现更好的共指性能。此端到端系统还可以通过使用联合训练算法执行提及检测和消解，并使用 BERT 模型生成输入跨度表示。我们的模
PDF2 years ago
针对任务的嵌入用于前处理可解释文本分类
本文提出了一种基于 k 最近邻分类的替代方法，学习任务特定的文本嵌入表示方式，从而实现解释性和增量学习，而不影响分类准确性。
PDF2 years ago