基于华为昇腾910B,实战InternVL2-8B模型推理

2024年10月31日修改
基于华为昇腾910B,实战InternVL2-8B模型推理
本文将带领大家基于启智平台,使用 LMDeploy 推理框架在华为昇腾 910B 上实现 InternVL2-8B 模型的推理。
1.登录启智平台

加载失败,