[RFC]: 框架支持昇腾亲和输入格式算子（WIP）

### 背景与目标描述. Ascend处理器为了获得更优的执行性能，设计了一系列昇腾亲和的数据排布格式（例如NZ等）。虽然910B等芯片提供了普通格式与昇腾亲和格式相关转换的随路数据搬移指令，但是在推理等对性能极致要求的情况下，随路转换依然有不少的性能影响，而且310P等芯片并没有同步提供类似的指令。因此在整网执行模式中，将权重等常量输入数据提前转换成昇腾亲和的数据排布，并直接给到算子，可以节省数据转换的时间从而获得性能最优。MindSpore框架需要支持特殊输入格式的算子接入。 ### 方案一（废弃） 数据的输入输出的格式要求与算子规格强相关，框架可以不关注format，只需保证这些信息从接口层面到底层实现的传递。整体设计考虑如下： #### 算子接口 提供显式的格式控制参数，由算子调用者指定输入输出数据格式。例如对于`Matmul`算子： ``` C = Matmul(A, B, input_format) ``` `A`和`B`为左右矩阵；`input_format`为数据格式参数，取值为：0，表示`A`、`B`、`C`格式为ND；1，表示`A`、`B`、`C`格式为NZ #### Shape推导 早先MindSpore设计了`host_shape`和`device_shape`。其中`device_shape`用来保存转换为特殊格式的shape，InferShape时统一按照`host_shape`进行推导。在新的设计方案下，不再进行`host_shape`和`device_shape`的区分，全部按照实际shape处理。以`TransData`为例，对`out = TransData(Tensor(shape=[4, 4]), to_format="NZ")`: 原方案下InferShape：`input_shape=[4, 4], out_shape=[4, 4]`； 新方案下InferShape：`input_shape=[4, 4], out_shape=[1, 16, 1, 16]` 当前框架中多后端实现复用同一个InferShape实现，如果不同后端输出format不一样，需要在InferShape中相应处理。 #### MindSpore数据结构与底层接口数据结构转换 以静态图对接aclnn算子为例，需要将`KernelTensor`转换为aclTensor。框架需要提供接口支持特殊格式信息的转换。 #### 其他 框架存量自动转换功能等的适配。 #### 疑问点 - format信息表达：是放在Tensor接口上，还是新增参数？ - 输出参数format是否需要推导？如果format在Tensor上表达，则一定需要推导过程 框架推导format会碰到以下问题 ```python a = ms.Tensor(shape=(4, 1, 8, 16)) # format设置为"NCHW" b = ms.transpose(a, (0, 2, 1, 3)) # 这里format如何推导，输出应该是"NCHW"还是"NHCW"? ``` ### 方案二： 方案一存在一个问题，NZshape会丢失原有，如果算子需要还原ND信息，就需要额外新增参数（例如Matmul中的m、n）。因此，设计方案二： - 1. MindSpore对外的Tensor承载Format信息，但是shape还是呈现原始的ND shape，例如：Tensor(shape=(4, 4), format="NZ")，对应的实际内存为(1, 16, 1, 16)；"ND"作为默认格式，对外呈现为“None”。 - 2. 算子通过Tensor获取真实的format信息，并进行相关处理。新增TransFormat算子进行格式转换，None与NCHW/NHWC等格式之间转换，只改变格式，数据内容保持不变；None与“NZ”等昇腾特殊格式转换时，需要对数据内容进行变换。 - 3. 静态图模式下，框架增加InferFormat功能进行format推导，算子输出Tensor要按需进行设置：未注册InferFormat函数的算子采用框架的默认实现，只支持None格式，否则报错，提示用户使用TransFormat算子进行格式转换；已注册InferFormat函数的，则按照实际函数处理。 - 4. 动态图模式下，ms::Tensor构造时增加format输入。 - 5. 在静态图和动态图模式下，输出的Shape都按照原始shape推导（非NZshape）。 - 6. Zeros/Ones等生成类算子需要梳理出列表，新增Format输入，指定生成的数据的格式。 - 7. asnumpy接口行为待讨论确定。实现一：只接受None格式输入，否则报错；实现二：按照实际内存…