evaluation practices | BriefGPT

关键词evaluation practices

搜索结果 - 10

具有影响力的 AI 代理
我们针对当前 AI 代理人基准和评估实践的不足进行了分析，着重关注了精确度以外的其他指标，通过联合优化精确度和成本，设计和实施了一个新的优化方法，减少了成本并保持了精确度，并提出了一套有效避免过拟合的原则，同时指出了在评估实践中缺乏标准化的
PDF5 days ago
从变化到稳定：推荐系统基准实践的进一步发展
通过使用多样化的 30 个开放数据集和 11 个协同过滤算法在 9 个评估指标下的评估，本论文引入了一种新的基准方法，以促进推荐系统算法的公正和稳健比较，从而推进评估实践。通过严格的实验分析，验证了在数据集的变化性下的方法可靠性，提供了一个
PDF5 months ago
文本摘要研究中的负责任人工智能考虑：当前实践综述
AI 与 NLP 研究中缺乏对潜在相关利益相关者、背景使用情境以及可能的负面影响等负责任人工智能问题的考虑，尤其在文本摘要任务中。本研究通过分析 2020-2022 年发表的 333 篇 ACL 文选论文，研究并讨论了相关研究和报告实践的局
PDF8 months ago
解释质量评估中的挑战
本文探讨了解释质量的评估以及当前主流的代理分数评价方法的问题，得出代理分数与人类评分相关性较差，且使用频率越高表达能力越弱的结论，最终提出指导方针以实现有意义的评价和推动系统的发展。
PDF2 years ago
仅需一行代码的多语言自然语言生成基准测试 GEMv2
为了更方便地遵循最佳模型评估实践，我们引入了 GEMv2，它为数据集、模型和度量开发人员提供了一种模块化基础设施，可以受益于彼此的工作，并支持 51 种语言的 40 个数据集的模型在线评估。
PDF2 years ago
修复裂开的基础：生成文本评估实践中的障碍调查
本文对自然语言生成中的模型评估进行了综述，分类，以及讨论该领域内研究人员针对这些问题所做的工作，提出了一个长期的 NLG 评估愿景，并建议研究人员采取具体措施来改善他们的评估过程。最终，从 66 篇近期 NLP 会议的 NLG 论文中分析了
PDF2 years ago
EMNLP推动正确按钮：对质量评估的对抗性评估
该论文提出了一种对机器翻译中的质量评估进行敌对测试的方法，通过研究近期最优设备的评价体系，发现某些含有意义错误的翻译结果是难以被评估系统检测的。同时，该论文还研究了翻译结果保留原本含义和改变原本含义两种扰动的区别，并探讨了这种方法对于评估系
PDF3 years ago
基于深度生成模型的异常检测进一步分析
探究如何在深度生成模型中检测异常值，发现高密度区域和通常样本集不一致，提出新的异常值检测方法以及需要修改已有的评估方法
PDF4 years ago
文本风格转移的评估
本文提出了一种在 Yelp 情感数据集上实验性确定最佳实践的方法，解决了文本风格转移领域目前缺乏标准评估实践的问题；我们提出了自动化评估的一组度量标准，并展示了它们与人类判断的强关联性和一致性，并证明了三种检验模型在所关注的方面存在权衡，在
PDF5 years ago
ACL评估历史文本标准化系统的泛化能力
本文简要讨论了历史文本规范化系统的评估问题，通过比较两个神经模型和一个基准系统，阐释了我们的评估方法，并得出结论，未来的工作应包括更严格的评估，包括可能的内在和外在度量。
PDF6 years ago