RAG超参数调优食用指南
RAG超参数调优食用指南
2024年8月23日修改
作者：AI 搜索引擎
目前构建 LLM 应用程序存在一个巨大的问题，那就是需要调整大量的参数，而且远远超出了提示范围，例如分块、检索策略、元数据等。为了解决这些问题 LlamaIndex 推出了一个 ParamTuner 类，可以自动、高效地执行超参数调整。
ParamTuner 不仅可以定义我们想要的任何目标函数，例如带有评估的 RAG 管道；还能够以同步或者异步的方式进行网格搜索；并且 LlamaIndex 官方使用了 Ray Tune 将其提升到了一个新的水平。但是值得注意的是，该方法很有可能需要耗费很大的成本。
ParamTuner 有两种变体：
•
ParamTuner：一种通过遍历所有参数进行参数调优的简单方法。
•
RayTuneParamTuner：由 Ray tune 提供的超参数调优机制。
ParamTuner 可以接受任何输出值字典的函数。在这个设置中定义了一个函数，该函数从一组文档(Llama2 论文)构造一个基本的 RAG 摄取管道，选择最合适的评估数据集并运行它，最后为运行结果打分。
接下来将用一个完整的使用指南来展示如何对 RAG 进行超参数优化，主要针对块大小和 top-K 两个参数。
本文将会包括以下内容：
1.什么是超参数微调，以及为什么它很重要
2.超参数搜索的类型
3.ParamTuner 食用指南
附件不支持打印