[Feature]: 分布式张量设计

### 🚀 背景描述 DTensor（Distributed Tensor，分布式张量）的设计背景是为了解决超大规模机器学习模型训练中，传统的模型并行和数据并行方法在易用性和效率上遇到的瓶颈问题。 它的核心目标是让开发者能够像操作单机Tensor一样自然地编写代码，而无需关心复杂的分布式细节，同时实现极致的硬件利用率。 近年来，机器学习模型参数量的增长远远超过了单个 accelerator (GPU/TPU) 内存容量的增长。训练拥有千亿（100B+）参数的模型已成为常态。这种趋势使得传统的、需要人工精心设计的模型并行方案变得不可持续。 业界急需一种能够自动化、系统化地解决超大模型分布式训练问题的方案。 正是在这样的背景下，DTensor 被设计出来。它的核心思想是提出一个统一的抽象层，将复杂的分布式细节从用户的模型代码中剥离出去。 DTensor 将“张量如何在设备间进行物理切分”的逻辑（称为“分片计划”，Sharding Plan）与“用户如何编写模型代码”的逻辑（称为“编程模型”，Programming Model）进行了解耦。 1、全局视角 (Global View)： 开发者不再需要手动考虑模型如何拆分、数据如何分布。 他们可以像在单机单卡上一样，定义和操作一个全局的、逻辑上的大张量（即 DTensor）。这个张量的形状就是它本来的样子（例如一个 [1000, 1000] 的权重矩阵）。 2、分片注解 (Sharding Annotations)： 用户只需要通过一个简单的注解（Annotation） 来声明这个逻辑张量希望以何种方式被分布。 例如，你可以指定一个权重矩阵的“行”被切分 across 所有设备，或者“列”被切分 across 所有设备。这通过类似于 Shard(axis) 的语义来完成。 3、自动化与运行时 (Automation & Runtime)： DTensor 的运行时系统会根据用户提供的分片注解，自动地在后台完成以下工作： 将全局张量物理切分到各个设备上。 在计算过程中，自动插入必要的跨设备通信操作（如 All-Reduce, All-Gather）。 确保最终的数学结果与在单机上顺序执行的结果在数学上是完全等价的。 ### 设计思路 自2019年MindSpore开源起始，在选择自动并行模式时候，MindSpore的张量天然就是分布式张量，MindSpore在过去的版本一直将分布式张量的概念隐藏在C++层，在2023年为了支持更加泛化的并行能力，将Layout对象，即分布式张量的描述对外了，但是是通过配置在算子上，继而在C++编译层传递到Tensor上，依旧不是显示的呈现分布式张量的概念。为了更加易用性，同时为了支持动态图下的单卡编程范式，MindSpore将Layout对象直接赋予Tensor，将Tensor可以呈现为DTensor。 1、Layout对象定义 class Layout: def __init__(self, device_matrix, alias_name, rank_list=None) Layout对象的构造有三个入参。 device_matrix：设备矩阵，即设备的排布情况。 如（2,2,2）的设备矩阵表达的含义即是8个设备（NPU/GPU）按照2 * 2 * 2进行排列为 [[[0,1],[2,3]],[4,5],[6,7]] alias_name: 对设备矩阵的每个轴取一个别名，如("dp", "cp", "tp")对应的就是设备矩阵(2,2,2)的三个轴。别名是为了后面对Tensor进行切分时候去匹配Tensor的Shape的轴。 rank_list: 设备列表，默认为None时，对应的设备列表是按照从0开始的，设备矩阵累乘的范围，如device_matrix=(2,2,2)对应的就是0,1,2,3,4,5,6,7,8。但是在pipeline并行的场景下，非第0个pp stage的设备列表需要配置，如stage1配置为rank_list = [8 + i for i in range(8)] 而Layout的__call__方法通过传入别名，构造一个新的Layout对象，这个Layout对象增加了对Tensor的切分的具体描述。 layout = Layout((2, 2, 2), ("dp", "cp", "tp")) layout0 = layout("dp", "None", "None") layout1 = layout("dp", "cp", "tp") layout2 = layout(("dp", "cp", "tp"), "None") 如…