LLM应用程序的新兴架构
LLM应用程序的新兴架构
2024年7月25日修改
大语言模型（LLM）为软件构建提供了一种强大的新方法。由于这种技术相对较新，且其运作方式与传统计算资源大相径庭，如何有效利用它们并不是显而易见的。
在这篇文章中，我们将分享LLM应用开发中新兴的参考架构。这一架构展示了AI初创企业和技术巨头常用的系统、工具和设计模式。虽然这一架构还处于初期阶段，未来可能会随着技术进步而有较大变化，但我们希望它能为目前从事LLM开发的开发者提供有价值的参考。
这项工作基于我们与AI初创公司创始人和工程师的交流。特别感谢Ted Benson, Harrison Chase, Ben Firshman, Ali Ghodsi, Raza Habib, Andrej Karpathy, Greg Kogan, Jerry Liu, Moin Nadeem, Diego Oppenheimer, Shreya Rajpal, Ion Stoica, Dennis Xu, Matei Zaharia, 和 Jared Zoneraich提供的宝贵意见。
LLM应用程序技术栈
以下是我们对LLM应用堆栈的当前理解（点击放大查看）：
附件不支持打印
加载失败，