绩效目标差异很大。每个人工智能模型都有固定的质量水平和成本,但应用程序通常需要改变这些参数。在某些应用程序中,例如内联代码建议,最好的 AI 模型太昂贵,因此 Github Copilot 等工具使用精心调整的较小模型和各种搜索启发式方法来提供结果。在其他应用中,即使是最大的模型,如 GPT-4,也太便宜了!许多用户愿意支付几美元来获得正确的法律意见,而不是花几美分来询问 GPT-4,但开发人员需要设计一个 AI 系统来利用这一更大的预算。
可用的人工智能模型和服务种类繁多,这使得为应用程序选择合适的模型和服务变得具有挑战性。此外,不同的模型可能在不同的输入上表现更好。FrugalGPT是一个框架,可自动将输入路由到不同的 AI 模型级联,以根据目标预算最大限度地提高质量。基于一小组示例,它学习了一种路由策略,该策略可以在相同成本下比最好的 LLM 服务高出多达 4%,或者在匹配其质量的同时将成本降低多达 90%。 FrugalGPT 是 AI 网关或路由器的更广泛新兴概念的一个示例,在Databricks AI Gateway、OpenRouter和Martian等软件中实现,以优化 AI 应用程序每个组件的性能。当人工智能任务在复合系统中被分解为更小的模块化步骤时,这些系统的工作效果会更好,并且网关可以为每个步骤单独优化路由。