in-domain data | BriefGPT - AI 论文速递

关键词in-domain data

搜索结果 - 9

任务导向领域内数据增强
利用任务导向的领域特定数据增强框架，从通用语料库中选择大量领域内数据并生成合成的领域特定文章，以提升大语言模型在广告和数学领域的表现。平均来说，该框架可使广告领域性能提高 8%，数学领域提高 7.5%。
PDF10 days ago
评价患者评论的人工和基于语言模型的情感标注的中立性的困难性
情感分析是为了提供定向改进医疗服务而聚合患者声音的重要工具。这篇文章记录了一项工作，旨在为挪威公共卫生研究所（NIPH）收集的患者调查自由文本评论添加情感标注，并评估了使用大型语言模型作为标注工具的可行替代方案。
PDF2 months ago
领域特定预训练模型的重要性：相较通用模型而言
研究表明，对面向单一领域的数据进行预训练，也可以得到性能强大且经济实惠的替代解决方案，本文以 StackOverflow 为例，使用 SOBertBase 和 SOBertLarge 模型在该领域上预训练，并在 SO 特定的四个下游任务上验
PDFa year ago
ACLCheck-COVID: 用科学证据核实 COVID-19 新闻声明
我们提出一个名为 Check-COVID 的新的事实核查基准，用于验证新闻中有关 COVID-19 的声明，需要使用来自科学文章的证据。该基准包含 1,504 个有关冠状病毒的专家注释新闻声明及其句子级证据，并包括从期刊文章中提取（记者写作
PDFa year ago
EMNLP利用众包工作者进行机器翻译的域适应
提出了一种利用众包工作者从网络中有效地收集一个目标领域平行句子的框架，从而快速地将机器翻译模型适应于目标领域，实验证明这种方法可以在几天内以合理的成本收集到目标领域平行数据，并且与通用翻译模型相比，域适应模型的 BLEU 评分平均提高了 7
PDF2 years ago
探索视频游戏机器翻译的可能性
本文介绍了视频游戏机器翻译的挑战和潜在益处，表示使用领域数据训练的翻译模型超过公开系统，通过人工评估发现其具有学习英语到法语的典型规则和模式的能力，同时提出应该与人工翻译互动使用以刺激创造力而不是为了提高生产率而进行后期编辑。
PDF2 years ago
KDDAlexa 教师模型：自然语言理解系统的预训练和蒸馏多十亿参数编码器
本文介绍了一个在虚拟助手 NLU 组件中进行的从预训练到蒸馏的实验，使用了介于 700M 到 9.3B 之间的参数数量不同的编码器，并从中收缩了介于 17M-170M 的较小模型，发现在预训练部分使用领域内数据可以提高模型的性能。评估结果表
PDF2 years ago
EMNLP使用领域内嵌入初始化来提升低计算语言建模
使用数据领域中的输入嵌入对语言模型进行初始化和冻结，可在有限的计算资源下提高语言模型性能，这种方法适用于各种应用程序领域且与输入和输出嵌入打结的标准约定无关。
PDF4 years ago
ACL预训练语言模型中的无监督域聚类
本文提出了一种基于大规模预训练语言模型的领域数据选择方法，通过度量句子的隐式相似性进行聚类，仅需要少量数据即可有效提高神经机器翻译的准确性。
PDF4 years ago