本研究介绍了 COVID-19 MLIA @ Eval 倡议的机器翻译（MT）任务的结果，该倡议是改善以新冠肺炎危机为重点的 MT 系统生成的社区努力。该事件吸引了 9 支团队参与，并涉及 7 种不同的语言对，其中最佳方法基于多语言模型和迁移学习，并强调了对训练数据进行清理的重要性。

Nov, 2022

该研究旨在研究机器翻译中 Transformer 模型在低资源语言对（英爱尔兰语和英马拉地语）中的效果，并通过优化超参数和子词模型类型来显著提高低资源语言对的翻译质量。此外，还引入了 adaptNMT 和 adaptMLLM 两个开源应用程序，简化了神经机器翻译模型的开发、微调和部署过程，使其更容易被开发人员和翻译人员使用。

Mar, 2024

机器翻译是许多高资源语言对的成熟技术，然而在低资源语言的情况下，缺乏用于开发翻译模型的平行数据集。本研究开发了针对低资源英语到爱尔兰语领域的特定健康领域的数据集，实验证明使用领域内数据集的好处。通过比较于 LoResMT2021 共享任务的最佳模型，使用 gaHealth 数据集开发的模型在翻译健康相关数据方面的 BLEU 分数最高可以提高 22.2 个百分点（40%）。此外，我们定义了开发 gaHealth 的语言指南，这是为爱尔兰语健康数据开发的第一个双语语料库，我们希望能对其他低资源数据集的创建者有所帮助。gaHealth 现在已经免费在线提供，并可用于进一步研究。

Mar, 2024

本文旨在探究两种途径从英语语料库中翻译生成的语言格式数据和本地化的语料库数据来建立生物医学语言模型，以应用在医疗领域中以提高患者护理和管理（本研究以意大利为例）。通过实验发现，在相对较小的语料库情况下，高质量数据的合并可以提高模型性能，但数据量的限制更为严格；本文的研究成果有望为意大利医院和学术界提供发展机遇，并为如何构建通用于其他不太具备资源的语言和不同领域设置的生物医学语言模型提供有价值的见解。

Dec, 2022

本文介绍了基于目标域文本的 Word2Vec 的训练和对齐策略，用于适应已有的预训练语言模型，并在生物医学实体识别任务和 Covid-19 问答任务上取得了 60% 的 BioBERT-BERT F1 差距的覆盖率，且成本仅相当于 BioBERT 的 5% 的 CO2 排放和 2% 的云计算成本。

Apr, 2020

通过超参数优化，选择适当的参数并进行子词模型的正确选择，能够在英语 - 爱尔兰语低资源语言对的翻译中实现显著的性能提升，并改善了 Google 翻译的基准性能。

Mar, 2024

研究调整后的多领域神经机器翻译模型在医学领域的表现，通过自动度量和错误分类注释后的人工分析发现，与领域外的 MNMT 相比，领域内的 MNMT 在所有测量的自动度量上表现更好，并且产生更少的术语错误。

Dec, 2022

本研究使用预训练的 transformer 模型对 Covid-19 疫苗相关的推文进行 fine-tune，结合 LMOTE 方法进行文本生成，来识别社交媒体帖子中与疫苗相关的正确情感。研究结果说明了文本生成对于预训练 transformer 模型 fine-tune 的适用性以及针对分类任务的领域特定 transformer 模型的效用。

Sep, 2022

本文针对神经机器翻译中的无监督领域自适应问题，提出一种跨语料库数据选择方法，通过对多语言 BERT 进行对比学习，实现源语言和目标语言之间的表示对齐，从而实现零样本领域分类器的可转移性，并且通过联合学习翻译任务和领域区分任务来适应新领域。我们在五个不同的领域和三种语言对的神经机器翻译上进行了跨语料库数据选择方法的评估，并在 COVID-19 疫情实时翻译中进行了应用验证， 实验结果表明，我们提出的方法相对于基线方法的 BLEU 指标得分提高了 1.5 个百分点。

Sep, 2021

本文提出了一种基于变压器的语言模型微调方法，用于检测 COVID-19 假新闻，该方法通过扩展专业短语的语义，适应热身 softmax 损失以区分硬挖掘样本，并通过对抗性训练提高模型的鲁棒性，采用 RoBERTa 和领域专用模型 CT-BERT 提取预测特征，并由一个多层感知器融合细粒度和高级别的特定表示。经 COVID-19 假新闻数据集评估，实验结果在各种评估指标上都表现优越，最好的加权平均 F1 得分为 99.02％。

Jan, 2021