部署加速
分享
输入“/”快速插入内容
部署加速
2024年4月15日修改
随着大模型参数规模的不断增长，在有限的算力资源下，提升模型的推理速度逐渐变为一个重要的研究方向。常用的推理加速框架包含 lmdeploy、TensorRT-LLM、vLLM和JittorLLMs 等。
TensorRT-LLM
TensorRT-LLM
由NVIDIA开发，高性能推理框架
详细的推理文档见：
inference-speed/GPU/TensorRT-LLM_example
vLLM
vLLM
由加州大学伯克利分校开发，核心技术是PageAttention，吞吐量比HuggingFace Transformers高出24倍。相较与FasterTrainsformer，vLLM更加的简单易用，不需要额外进行模型的转换，支持fp16推理。
详细的推理文档见：
inference-speed/GPU/vllm_example
JittorLLMs
JittorLLMs
由非十科技领衔，与清华大学可视媒体研究中心合作研发，通过动态swap机制大幅降低硬件配置要求（减少80%）,并且Jittor框架通过零拷贝技术，大模型加载相比Pytorch开销降低40%，同时，通过元算子自动编译优化，计算性能提升20%以上。
详细的推理文档见：
inference-speed/GPU/JittorLLMs
lmdeploy
lmdeploy
由上海人工智能实验室开发，推理使用 C++/CUDA，对外提供 python/gRPC/http 接口和 WebUI 界面，支持 tensor parallel 分布式推理、支持 fp16/weight int4/kv cache int8 量化。
详细的推理文档见：
inference-speed/GPU/lmdeploy_example