加载失败，

动态 shape 的挑战与解决现状

2024年1月14日创建

1920

2095

概述

动态 shape 是什么

动态 shape，一般是 2 个问题：

Tensor 的 shape 是动态的。

Control flow 的动态性。即 if-else / loop 类的结构。比如，where，while，Switch 等。

Tensor shape 的动态性，类型比较多。比如：

变化的 batch size。

变化的 input shape。CV 模型的 image resolution，NLP 模型的 input sequence length。

算子逻辑导致的。unique，nonzero。

稀疏矩阵导致的。输入本身可以是静态的，但为了节约存储空间，使用稀疏矩阵表示输入。搜推模型用的多。

其他特殊情况。比如，random 算子，可能间接导致动态 shape。

解决方案，集中在 compiler 层面。核心是如何 static 化，基本靠 padding。

“解决” 基本是不可能的，只能 case by case 的绕过去。

动态 shape 的挑战

Compiler 不擅长处理动态 shape。

静态 shape 语义下比较确定性的问题，动态 shape 场景很复杂。比如：

算子占用的显存预估 & 调度策略，

指令层的向量化，

codegen 模版选择。

Broadcast 的例子

动态 shape 的挑战与解决现状​