checklist | BriefGPT - AI 论文速递

关键词checklist

搜索结果 - 7

基于生成式 AI 的软件产品发布就绪性检查清单的现状
本研究探讨将大型语言模型集成到软件产品中的复杂性，重点关注确定其发布准备工作中遇到的挑战。我们系统性地审查了灰色文献，确定了在部署大型语言模型方面的常见挑战，从预训练和微调到用户体验的考虑。该研究介绍了一份全面的检查清单，旨在指导从业人员评
PDF3 months ago
ACL自然语言处理中的可重复性：清单告诉我们了什么？
本文通过分析 NLP 可重复性核对清单，发现清单的发布提升了 NLP 论文关于效率、验证性能、汇总统计和超参数等关键信息的披露率，且论文被接受的概率与符合要求的回复量呈正相关，同时提出了未来会议的一系列改进建议。
PDFa year ago
基于语义相似度评分的面向意义的自然语言生成测度评估动态、解释性清单
本研究旨在支持对生成文本的质量评估，并针对属性更相关性的 NLG 评估指标进行比较评估，提出了一种 AMR-based CheckList 方法，用于意义相关的语言现象，设计了 GraCo 评估指标，使用 AMR 计算词汇凝聚图，表明其作为
PDF2 years ago
ACL使用 Mask Neuron Coverage 进行 NLP 模型的白盒测试
本论文提出了一种针对基于 transformer 的 NLP 模型的白盒测试方法，其中包括可以衡量模型中的 Attention 层是否得到充分运行的 Mask Neuron Coverage，该方法可用于指导测试数据生成，评估其他 NLP
PDF2 years ago
ACL多语言清单：生成与评估
本文介绍了一种使用机器翻译自动提取目标语言的 CheckList 模板的算法，以及将其与不同水平的人工干预下创建的 CheckList 进行比较的度量方法，并探讨对印地语和其他九种语言进行 CheckList 创作的不同方法，最终得出 TE
PDF2 years ago
超越准确度：使用 CheckList 进行 NLP 模型的行为测试
本文介绍了一种基于行为测试原则的 NLP 模型测试方法 - CheckList，它包括常规语言能力和测试类型矩阵以及可用于快速生成大量不同测试用例的软件工具。用户研究表明，与没有使用 CheckList 的用户相比，使用 CheckLis
PDF4 years ago
提高机器学习研究的可重复性 (来自 NeurIPS 2019 可重复性计划的报告)
本文介绍了 2019 年 NeurIPS 会议针对机器学习研究推出的可重复性计划，包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分，阐述了每个组件的部署以及我们从这个计划中学到了什么。
PDF4 years ago