Skip to content

group.md

Latest commit

 

History

History
79 lines (66 loc) · 5.35 KB

group.md

File metadata and controls

79 lines (66 loc) · 5.35 KB
Raw

group 配置说明

1. 配置概述

处理器合并器配置。

项目 内容
配置类 GroupProcessorConfig
源码 group.py

2. 参数列表

2.1 GroupProcessorConfig

字段路径 类型 必选/可选 默认值 取值范围或格式 含义 引用配置
type string 必选 无 group 处理器类型，固定为 group。 无
configs list[object] 必选 无 — 被合并的处理器配置列表，按顺序执行；每个元素是 type 分派的处理器配置。 本页 §2.2

配置约束

  • 无。

2.2 AutoProcessorConfig

派生类

  • AdaptRotationProcessorConfig（type: adapt_rotation） — 自适应旋转（adapt_rotation）处理器配置。 《adapt_rotation 配置说明》
  • AutoroundProcessorConfig（type: autoround_quant） — autoround 量化处理器配置。 《autoround_quant 配置说明》
  • AWQProcessorConfig（type: awq） — AWQ（Activation-aware Weight Quantization）处理器配置。 《awq 配置说明》
  • BinaryAnalysisProcessorConfig（type: binary_analysis） — 二值（有/无量化）敏感度分析处理器配置。 《binary_analysis 配置说明》
  • BinaryOperatorLayerWiseProcessorConfig（type: binary_operator_layer_wise） — 逐层敏感度分析处理器配置（对比逐块浮点与量化输出）。 《binary_operator_layer_wise 配置说明》
  • BinaryOperatorModelWiseProcessorConfig（type: binary_operator_model_wise） — 模型级敏感度分析配置（对比模型最终输出，使用 MSE 指标） 《binary_operator_model_wise 配置说明》
  • DynamicCacheProcessorConfig（type: dynamic_cache） — KV cache 量化处理器配置。 《dynamic_cache 配置说明》
  • FA3QuantProcessorConfig（type: fa3_quant） — FA3（FlashAttention-3）量化处理器配置。 《fa3_quant 配置说明》
  • FlatQuantProcessorConfig（type: flatquant） — FlatQuant处理器配置：定义量化训练参数、策略、混合精度等 《flatquant 配置说明》
  • FlexAWQSSZProcessorConfig（type: flex_awq_ssz） — FlexAWQSSZ 平滑+AWQ 处理器配置。 《flex_awq_ssz 配置说明》
  • FlexSmoothQuantProcessorConfig（type: flex_smooth_quant） — FlexSmoothQuant 平滑量化处理器配置。 《flex_smooth_quant 配置说明》
  • FloatSparseProcessorConfig（type: float_sparse） — 浮点稀疏处理器配置。 《float_sparse 配置说明》
  • GroupProcessorConfig（type: group） — 处理器合并器配置。 本页 §2.1
  • IterSmoothProcessorConfig（type: iter_smooth） — 迭代平滑（IterativeSmooth）处理器配置。 《iter_smooth 配置说明》
  • KVSmoothProcessorConfig（type: kv_smooth） — KV cache 平滑处理器配置。 《kv_smooth 配置说明》
  • LinearProcessorConfig（type: linear_quant） — 线性层（Linear）量化处理器配置。 《linear_quant 配置说明》
  • LoadProcessorConfig（type: load） — 模块加载/卸载处理器配置。 《load 配置说明》
  • OASQProcessorConfig（type: oasq） — OASQ（Outlier-Aware Smooth Quantization）处理器配置。 《oasq 配置说明》
  • OnlineQuaRotProcessorConfig（type: online_quarot） — 在线 QuaRot 旋转处理器配置。 《online_quarot 配置说明》
  • QuaRotProcessorConfig（type: quarot） — QuaRot（离线旋转）处理器配置。 《quarot 配置说明》
  • QuantSaveProcessorConfig（type: saver） — 统一保存处理器配置。 《saver 配置说明》
  • SmoothQuantProcessorConfig（type: smooth_quant） — SmoothQuant 平滑量化处理器配置。 《smooth_quant 配置说明》
  • SVDResidualProcessorConfig（type: svd_res） — SVD 残差（低秩补偿）处理器配置。 《svd_res 配置说明》
  • TrainableLinearQuantProcessorConfig（type: trainable_linear_quant） — 可训练线性量化（TLQ）处理器配置。 《trainable_linear_quant 配置说明》
  • UnaryAnalysisProcessorConfig（type: unary_analysis） — 一元（无量化）敏感度分析处理器配置。 《unary_analysis 配置说明》

3. 完整配置参考

apiversion: modelslim_v1
spec:
  process:
  - type: group
    configs:
    - type: linear_quant
      qconfig:
        act:
          dtype: float
          scope: per_tensor
          symmetric: true
          method: none
        weight:
          dtype: int8
          scope: per_channel
          symmetric: true
          method: minmax
    - type: smooth_quant
      alpha: 0.5
      symmetric: true