Oct, 2023

基于越南社群的 COVID-19 问答的生成预训练变压器

PDF
TL;DRGPT-2 在越南基于社区的 COVID-19 问题回答中的应用取得了非常有希望的结果，超过了其他 SOTA 模型以及先前为越南开发的基于社区的 COVID-19 问题回答模型。
发现论文，激发创造
  • BARTPhoBEiT：面向越南视觉问答的预训练序列到序列和图像变换模型

    我们引入了一种基于 Transformer 的越南模型 BARTPhoBEiT，该模型包括了预训练的越南序列到序列和双向编码器表示，用于评估越南语 VQA 数据集，并在准确度、精确度、召回率、F1 得分、WUPS 0.0 和 WUPS 0.9 等六个指标上优于强基准模型和现有最先进模型。

    Jul, 2023

  • BioGPT：用于生物医学文本生成和挖掘的生成式预训练变形器

    本文提出了一种基于大规模生物医学文献预训练的领域特定生成 Transfomer 语言模型 ——BioGPT，用于生物医学领域的自然语言处理任务，结果表明 BioGPT-Large 在 PubMedQA 任务上取得了 81.0% 的准确率，并提高了 BC5CDR、KD-DTI 和 DDI 关系提取任务的 F1 得分。

    Oct, 2022

  • COVID-19 自动问答任务的语言模型质量评估

    本文利用 GPT-2 语言模型，结合 tf-idf、BERT、BioBERT、USE 四种过滤方法，开发了一款自动回答有关 COVID-19 的聊天机器人，并通过医学专家评估，发现 BERT 和 BioBERT 优于 tf-idf 和 USE，以提供正确、即时、有用的健康数据。同时，还创建了一款用户友好型的互动网络应用程序。

    Jun, 2020

  • GPT 模型在机器翻译中有多好？一项全面评估

    本研究对 GPT 模型在机器翻译方面的表现进行了全面评估，涵盖了许多方面，如与最新研究和商业系统的不同 GPT 模型的质量比较，提示策略的效果，域转换和文档级翻译的鲁棒性。实验覆盖了 18 个不同的翻译方向，包括高资源和低资源语言以及非以英语为中心的翻译，评估了三个 GPT 模型：ChatGPT，GPT3.5 (text-davinci-003) 和 text-davinci-002。实验结果表明，对于高资源语言，GPT 模型达到了极具竞争力的翻译质量，而对于低资源语言的能力却有限，同时也证明了混合方法（将 GPT 模型与其他翻译系统相结合）可以进一步提高翻译质量。我们进行了全面的分析和人工评估，以进一步了解 GPT 翻译的特点。我们希望我们的论文为研究人员和实践者提供有价值的见解，并有助于更好地理解 GPT 模型在翻译方面的潜力和局限性。

    Feb, 2023

  • GPT 语言模型在大学教学创新中的应用

    GPT (Generative Pre-trained Transformer) 是一种人工智能和自然语言处理技术，能够自动生成文本。本文主要研究了将 GPT 语言模型应用于大学教学的各个方面，包括学生和教师活动的创新、内容理解与生成、问题解决、个性化和试卷批改等。同时，作者还在软件工程等领域进行了详细实验，评估了 ChatGPT 作为助理工具在理论活动、习题和实验实践中的潜在应用价值。

    Mar, 2024

  • 学习提问以回答问题：获取 GPT-2 和 BERT 的最大优势

    本文利用变压器模型和深度神经网络提出了一种有效的自动生成问题的方法，并通过 SQuAD 1.1 数据集实验证明所提出的模型可以产生语义正确且多样化的问题，并且在半监督学习中表现优异，为小数据领域内的问题生成提供了强大的支持。

    Nov, 2019

  • 关于 COVID-19 医疗对话生成的研究

    为了解决 COVID-19 期间在线咨询医生不及时的问题，我们开发了一种医学对话系统，该系统基于 Transformer，GPT 和 BERT-GPT 训练了几个对话生成模型，并使用迁移学习减轻数据缺乏的风险。自动和人工评估表明，这些模型生成的响应很有前途，类似于医生，并且与对话历史相关和具有临床信息。数据和代码可在提供的 https URL 中获得。

    May, 2020

  • 使用预训练的生成转换器（GPT-3）作为即插即用的感应模型用于医学图像分析的 GPT4MIA

    本研究提出了一种新的方法（称为 GPT4MIA），利用生成预训练变压器（GPT）作为医学图像分析（MIA）的即插即用传递推理工具，在理论分析上，我们开发了多个技术处理，以提高 GPT4MIA 的效率和有效性，包括更好的提示结构设计、样本选择和代表性样本 / 特征的提示排序，并提供了两个具体的用例（带工作流程），以在与图像分类的成熟模型（例如 ResNet）协同工作的情况下检测预测错误并提高预测准确度。

    Feb, 2023

  • VL-GPT：用于视觉与语言理解与生成的生成式预训练 Transformer 模型

    VL-GPT 是一种同时感知和生成视觉和语言数据的变压器模型，通过采用直观的自回归目标，实现了图像和文本两种模态的统一预训练方法，从而使模型可以像处理文本一样无缝地处理图像和文本。预训练完成后，VL-GPT 在包括图像字幕生成、视觉问答、文本到图像生成等多样的视觉和语言理解以及生成任务中表现出了令人瞩目的零样本和少样本性能。

    Dec, 2023

  • UIT-ViCoV19QA: 一份越南语 COVID-19 社区问答数据集

    Vietnamese researchers presented UIT-ViCoV19QA, the first community-based question answering dataset for COVID-19 from trusted medical sources with multiple paraphrased answers evaluated through deep learning models using commonly used metrics, mainly BLEU, METEOR, and ROUGE-L, which demonstrated significant improvements, and concluded that the deep learning method, especially the Transformer architecture, is dominant in the field of study.

    Sep, 2022