[Feature]: 动态图支持HSDP

## HSDP混合数据并行 ### 基本原理 数据并行是最常见的分布式并行训练方式，用于并行处理数据加速模型训练。在数据并行模式下，训练数据被划分成多份不同数据子集，每份数据分配到不同的计算节点上。每个节点独立地处理自己的数据子集，并使用相同的模型进行前向传播和反向传播，生成不同模型参数梯度。对所有节点的梯度进行AllReduce同步后，各节点获得相同的参数梯度，最后通过优化器进行模型参数更新。  使用数据并行进行训练时，各节点存储的模型参数是相同的，模型参数更新过程使用的优化器状态也是相同的。从存储的角度看，集群中模型参数和优化器状态存在冗余存储。从计算角度看，节点间更新模型参数的优化器计算完全一致，存在冗余计算。如果将模型参数和优化器状态按节点个数切分，每个节点存储不同的模型参数切片和优化器状态切片，不仅消除了冗余存储，由于通过优化器参与模型参数更新的是切片数据，还能消除优化器的冗余计算。这种并行方式，我们一般称为优化器并行，又称ZeRO（Zero Redundancy Optimizer）。  事实上，模型训练正反向流程用到的是完整的参数，因而模型训练时需先AllGather各节点的参数切片获取完整的模型参数，再执行模型正反向流程。由于最终参与优化器更新的是参数切片和优化器状态切片，输入优化器的梯度也需要是对应的梯度切片。在梯度AllReduce完成后，需要对梯度进行切分，取对应的切片数据。梯度AllReduce加切分的操作等价于对梯度进行ReduceScatter操作。 在梯度累积和流水并行时，需要在多次执行模型正反向流程，对不同的数据产生的梯度进行累积后再进行一次优化器更新操作。如果第一次执行AllGather获取完整模型参数后，后续流程都直接使用这个结果，内存占用上相当于模型只是做了优化器状态切分，模型参数未做切分。此外梯度累积的中间结果，在多次迭代间反复使用，也需要常驻内存，其大小跟模型参数相同。这种并行切分方式一般称为ZeRO1，如下图所示：  ZeRO1（切分优化器状态） 如果对梯度先进行节点间同步和切分，再进行梯度累积，则每次产生梯度切片时都需要引入节点间的ReduceScatter通信。以通信换内存，在每次迭代引入梯度ReduceScatter后，训练过程只需存储梯度切片数据。这种并行切分方式一般称为ZeRO2，如下图所示：  ZeRO2（切分优化器状态和梯度） 为了进一步减少显存占用，每次使用模型参数时都进行一次AllGather操作，用完即释放。以通信换内存，每次的模型正反向流程都引入参数的通信，完整的模型参数并未常驻内存，模型参数只占用参数切片的存储空间，实现真正意义上的参数切分。这种并行切分方式一般称为ZeRO3，如下图所示：  ZeRO3（切分优化器状态、梯度和参数） 从原始数据并行到ZeRO1、ZeRO2、ZeRO3流程可以看出，由于数据并行节点间存在着模型参数优化器状态的存储冗余，通过对这些数据进行切分，消除了这种存储冗余，使得单节点训练模型的内存占用降低，单节点可训练的模型规模增大。这种ZeRO的切分方式一般统称为FSDP（fully sharded data parallel），这种消除存储冗余是以引入通信为代价，在数据并行是否跨机，是否跨机房，集群规模不同，引入的通信代价也不相同。在一些场景下，我们不需要在整个数据并行维度切分参数，只需要在数据并行的子集中进行切分，允许存在部分冗余。比如数据并行节点数为16，存在16份冗余的模型参数，如果将这16个节点分成2组，每组8个节点拥有一份完整模型参数，存在2份冗余模型参数，每组模型参数在各自分组的8个节点中进行切分。通过这种混合数据并行和ZeRO模式，一般称为…