KV cache 平滑处理器配置。
| 项目 | 内容 |
|---|---|
| 配置类 | KVSmoothProcessorConfig |
| 源码 | processor.py |
| 字段路径 | 类型 | 必选/可选 | 默认值 | 取值范围或格式 | 含义 | 引用配置 |
|---|---|---|---|---|---|---|
type |
string |
可选 | kv_smooth |
kv_smooth |
处理器类型,固定为 kv_smooth。 |
无 |
smooth_factor |
float |
可选 | 1.0 |
— | KV 平滑因子,必须大于0;越大平滑越强。 | 无 |
include |
list[string] |
可选 | ['*'] |
— | 包含的模块名称模式,默认 * 匹配全部模块 |
无 |
exclude |
list[string] |
可选 | [] |
— | 排除的模块名称模式,优先级高于 include |
无 |
配置约束
- 无。
apiversion: modelslim_v1
spec:
process:
- type: kv_smooth
smooth_factor: 1.0
include:
- '*'
exclude: []