[Feature]: HSDP静态图支持zero1/zero2/zero3

### 🚀 背景描述 静态态图支持数据并行和优化器并行混合 见#ICR9X7:【RFC】【大模型训练】原生并行支持动静统一中对HSDP的背景描述 ### 设计思路 静态图参数需要静态shape，无法通过set_data动态挂载不同shape的数据。由于送到优化器的必然是参数切片，模型进入优化器前模型参数对外的shape需要是参数切分后的shape。但是模型正反向运算需要的又要是完整的参数，为此需要注册一个Hook函数来获取完整参数，同时将使用完整参数的流程替换为使用该Hook函数处理结果。 静态图方案： 1.在初始化阶段将完整参数shape调整为参数切片shape 2.为参数切片注册正向Hook函数， Hook函数在编译过程展开成算子，在Hook函数中获取完整参数并输出，使用完整参数的流程切换为对Hook函数输出结果的使用。 3.引入GradHook函数将完整的参数梯度处理成梯度切片，不使用现有的param_grad_hook是由于网络中只存在参数切片，通过它注册的梯度hook，获取的输入梯度是切分后的。  以ZeRO1为例，假设需要针对N个Micro数据训练时进行梯度累积，Hook和GradHook函数需要满足： 1.首个Micro数据训练时，Hook需要AllGather到完整参数，GradHook需要进行梯度累积。 2.中间Micro数据训练时，Hook需要能够获取到首个Micro流程中AllGather的完整参数，GradHook需要进行梯度累积。 3.最后Micro数据训练时，Hook需要能够获取到首个Micro流程中AllGather的完整参数，GradHook需要进行梯度累积和梯度同步。  为了使后续Micro数据训练过程能够获取到首个Micro数据训练过程中AllGather的完整参数，为此我们在Hook中新建一个Parameter来存储完整参数数据，Hook直接返回这个Parameter，伪代码如下所示： ``` def get_zero1_param_hook(self): complete_param = Parameter(initializer("zeros", self.param.shape, self.param.dtype), requires_grad=False) complete_flag = Parameter(Tensor(False)) def param_hook(param_slice): if complete_flag: return complete_param complete_param.assign(ops.AllGather(param_slice)) complete_flag.assign(Tensor(True)) return complete_param return param_hook ``` 当处理多个micro的for循环在图编译过程展开成一张整图时，对参数的多处使用，在自动微分过程后会在反向流程自动插入AddN算子来聚合梯度，如下图所示：  由于AddN的输入是多个GradHook处理产生的梯度，需要占据N份的参数量大小内存，容易引起训练过程内存不足。通过新增梯度变量，每次产生的梯度通过AssinAdd累积到梯度变量中，则只需要占据一份参数大小的内存。而自动微分产生的AddN算子则通过后端pass转换成最后一次GradHook的输出，其他GradHook输出通过控制边Depend挂到最后最后一个GradHook输出上，如下图：  对于GradHook来说，每个Micro数据训练过程都要做梯度累积，且只有最后一个Micro数据训练过程多了梯度同步流程。为了表达这种差异，需要在用户侧通过接口配置梯度同步标识。为此…