[RFC]: pertoken量化：性能与精度的权衡

### 背景与目标描述. 随着大模型的兴起，量化因其能显著降低显存占用、降低磁盘空间占用、提升模型推理性能等优势，在推理部署上，扮演着不可或缺的关键角色。各种量化算法、量化策略层出不穷，4bit、2bit等极低bit量化也跃然纸上。尽管量化能够解决部署时一些难题，提高资源的利用效率，但是，量化也会带来精度上的损失，这是量化带来的关键问题。因此，在推理部署时，需要兼顾量化带来的利弊。 ### 建议的方案. pertoken量化策略，是一种对权重的静态量化，对激活的动态量化，这是一种性能与精度权衡的策略，且可不依赖校准数据。 1、对权重的静态量化，在离线期完成，避免在线期引入大量的量化计算，往往权重的数据量要显著多于激活。 2、对激活的动态pertoken量化，一方面，在线期的实时量化计算，避免不同激活的同质化处理；另一方面，以token为粒度的量化，避免了不同token的同质化处理。这两个方面使得该量化策略相较于静态量化，精度上有更优的表现。 3、权重与激活的双量化，浮点计算转换为低bit的int计算，硬件一般对int计算的算力更强也更快。 4、mindspore有配套的大模型套件mindformer和量化套件golden_stick。基于mindformer，挑选某一模型后，基于golden_stick，将量化策略配置为激活pertoken、权重perchannel，以完成量化。 ### 涉及到的对外API 无 ### 测试验证 性能上对比原始模型推理和量化模型推理； 精度上可通过某一条语料，进行输出对比。 ### 期望的反馈时间. ### CC List. ### 其他补充信息. ### Before submitting a new issue... - [x] Make sure you already searched for previous [RFCs](https://gitee.com/mindspore/mindspore/issues?q=is%3Aall+label%3ARFC+sort%3Arecently-updated).