答案抽取正确率达96.88%，xFinder断了大模型「作弊」的小心思
输入“/”快速插入内容
答案抽取正确率达96.88%，xFinder断了大模型「作弊」的小心思
答案抽取正确率达96.88%，xFinder断了大模型「作弊」的小心思
2024年8月12日修改
转载请联系原作者取得授权
本文第一作者和通讯作者均来自上海算法创新研究院。其中，通讯作者李志宇博士毕业于中国人民大学计算机专业，并曾在阿里巴巴、小红书等互联网公司从事算法落地与研究工作，曾参与了包括千亿级商品知识图谱、用户图谱和舆情图谱的研发工作，累计发表论文四十余篇。李志宇当前在上海算法创新研究院大模型部门（由熊飞宇博士带领）负责整体的技术研发工作。研究院主页：https://www.iaar.ac.cn/
大语言模型（LLM）的迅速发展，引发了关于如何评估其公平性和可靠性的热议。
尽管现有的评估框架如 OpenCompass、LM Eval Harness 和 UltraEval 以及各种 Benchmark 推动了行业进步，但专注于这些评估框架核心组件可信度或可靠性度量的团队却为数不多。
近日，上海算法创新研究院和中国人民大学的研究团队发布了一篇名为《xFinder: Robust and Pinpoint Answer Extraction for Large Language Models》的论文。这篇论文深入分析了LLM评估框架的整体流程，重点评估了答案抽取器组件在大模型评估中的可靠性和一致性。
•
论文地址：
•
Github链接：
•
Huggingface链接：
•
当前的评估框架主要依赖正则表达式（RegEx）来抽取答案，但这种方法存在明显缺陷。人工复核结果显示，其最佳抽取正确率仅为74.38%，评估结果极不可靠。
此外，RegEx方法容易被有意或无意地拟合，增加了「作弊」的可能性，从而影响评估结果的可靠性和一致性。下图展示了LLM评估框架中RegEx组件抽取错误的情况。
为了有效解决这一问题，上海算法创新研究院和中国人民大学的研究团队开发了一个名为 xFinder 的新模型，用于更准确地抽取关键答案。
xFinder 具有以下优势：
（1）不要求特定格式的答案输出，具备较强的答案抽取鲁棒性，抽取准确率高达95.18%，显著优于目前最佳LLM评估框架中的RegEx方法。
（2）支持多样化题型，能够将字母选择题自动转换为问答题，并支持不同题型的混排评估，从而降低测试者拟合题型的可能性。