[Feature]: 动态图支持张量并行

### 🚀 背景描述 在大模型时代，张量并行作为最基础的分布式训练技术之一，是最为简易的将单卡无法运行的模型在多卡上进行切分的技术。现在业界大模型训练主流使用的依旧还是Megatron的方案，将模型的拆分、通信与梯度的累加、流水线并行的调度都显示的以分布式单元的形式构造出来。Megatron方案的好处是显而易见的，所有分布式的行为都展示给了用户，用户自主控制的范围很大；在前向各个位置可以方便的调试，通过hook也可以对梯度进行截取与监控，是一个完备与易于维护与进一步增量开发的分布式训练框架，因此也迅速的成为了最广泛使用的分布式训练框架。 但是到25年了，Pytorch也开始推行其原生的分布式训练方案，即围绕Dtensor为核心的针对张量切分进行建模的方案Torch Titan，同时字节也基于Torch的Dtensor推出了VeOmni框架；更早一些时间，Jax/OneFlow也就构建Dtensor的方案，并作为最核心的推广点。这说明大家其实也看到了Megatron方案的弊端，即并行与模型深度的绑定，每次切换并行策略需要大量的基础单元重写，比如MOE场景的tp转ep，在shard的视角仅仅是一个并行策略的切换，但是在Megatron实现中，就需要定义不同的分布式单元。 过去，MindSpore一直基于静态图演进以Dtensor为核心的张量并行等功能，为了更加的易用与开放，现在我们基于动态图来支持Shard范式的张量并行编程。 ### 设计思路 2、MindSpore张量并行设计 张量并行过去在MindSpore内部我们一般称为算子级并行，因为本质上张量都是作用于算子上，张量的切分本质上是对算子进行切分的建模。要介绍张量并行，我们首先要介绍一下Layout这个数据结构，Layout数据结构描述的是张量在多卡上是如何进行排布的。 2.1、 Layout对象 我们使用Layout来表达张量的分布式排布，内部包含3个成员： Layout(device_matrix, alias_name, rank_list=None) 输入： · device_matrix: 描述集群中卡号的逻辑排布方式，如果rank_list为None，则卡号按0开始 · alias_name：device_matrix中每个轴的别名 · rank_list（可选）：device_matrix对应的设备列表 输出： 返回一个Layout对象实例 比如：layout = Layout((4, 2), ("dp", "mp"), (0，1，2，3，4, 5, 6, 7))，设备矩阵为(4, 2)，描述了设备排列为4行2列，而我们分别为其两个设备的轴取别名dp/mp，这是为了对应于模型层面的数据并行、模型并行概念等，实际训练中我们还会额外定义cp/ep等等。设备按rank号的逻辑排布如下：  设备矩阵示意 通过对Layout对象实例传入轴别名列表，能指定对应的切分表达，如： layout = Layout((2, 2), ("dp", "mp")) Tensor.shard(layout("dp", "None")) 表示将张量的行切分到设备矩阵的“dp”轴， 而列不切分 (注：“None”是特殊的轴别名，使用时表示该维度不切分) 对于一个二维张量, 可以通过layout来表达它的各种切分形态：  layout切分示意 注：各种颜色的内容代表不同的卡上所拥有的数据，比如layout("dp", "mp")中橙色的内容，代表rank0上拥有的数据内容为0和2。 各种切分形态之间可以通过重排进行转换，示意如下：  张量转换示意 2.2、 算子切分建模 针对每个算子进行切分的建模，是整个张量并行的能力构建核心,即从算子输入张量的切分（即Layout），如何推导出输出张量的切分，当我们对网络中每个进行了张量切分的建模是，那么从输入的Layout既可以推导出输出的Layout，当然中间涉及到产生通信的位置，通过指定特定的切分策略来通过张量重排来产生相应的通信行为；在内部培训时候，我们通常喜欢使用MatMul算子的切分建模来介绍这个功能，因此这里我们…