告警时间: {datetime.now().strftime("%Y-%m-%d %H:%M:%S")}
+服务器 IP: {server_ip}
+告警原因: 风扇转速调节失败，连续 {failed_attempts} 次调节后风扇转速仍超过阈值 {threshold} RPM
+| 项目 | +详细信息 | +
|---|---|
| CPU 温度 | +{cpu_temps_str} 最高温度: {max_temp}°C |
+
| 风扇转速 | +{fan_speeds_str} 最高转速: {max_fan_speed} RPM |
+
| 失败次数 | +{failed_attempts} 次 | +
| 转速阈值 | +{threshold} RPM | +
+ 此邮件由 IPMI 风扇控制器自动发送，请勿直接回复。 +
+ + +""" + + message.attach(MIMEText(body, 'html')) + + # 发送邮件 + if self.use_tls: + server = smtplib.SMTP(self.smtp_server, self.smtp_port) + server.starttls() + else: + server = smtplib.SMTP_SSL(self.smtp_server, self.smtp_port) + + server.login(self.sender_email, self.sender_password) + server.send_message(message) + server.quit() + + self.logger.info(f"告警邮件已发送至: {', '.join(self.recipient_emails)}") + return True + + except Exception as e: + self.logger.error(f"发送告警邮件失败: {str(e)}") + return False From e2f9299f3f2e8c507073be458d9649b953a92a35 Mon Sep 17 00:00:00 2001 From: dongyu6 <92629383+dongyu6@users.noreply.github.com> Date: Tue, 17 Mar 2026 17:37:24 +0800 Subject: [PATCH 02/13] =?UTF-8?q?=E6=B5=AA=E6=BD=AEipmi=E6=8E=A7=E5=88=B6?= =?UTF-8?q?=E9=A3=8E=E6=89=87=E4=BB=A3=E7=A0=81?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- set_fan_speed.py | 277 +++++++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 277 insertions(+) create mode 100644 set_fan_speed.py diff --git a/set_fan_speed.py b/set_fan_speed.py new file mode 100644 index 0000000..3d5e1e3 --- /dev/null +++ b/set_fan_speed.py @@ -0,0 +1,277 @@ +#!/usr/bin/python +# -*- coding: UTF-8 -*- +# +# 运行此脚本前，请确保已安装所需库: +# pip install requests pycryptodome +# +import requests +import socket +import time +import base64 +from Crypto.Cipher import Blowfish +from Crypto.Util.Padding import pad +import urllib3 + +# 禁用 InsecureRequestWarning 警告 +urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) + +# --- 配置信息 --- +dic = { + 'username': 'zlkj', + 'password': 'Zl123456.', + 'ip': '192.168.20.11', + 'speed': '1', # 需要调整的转速百分比 + 'fans': ["1", "3", "5", "7"] # 需要调整转速的风扇端口 (0-7) +} + +# --- 加密算法实现 --- + +def encry_str(s: str) -> str: + """ + 使用XOR 127和十六进制编码来混淆字符串，模拟JavaScript中的encryStr函数。 + """ + if not s: + return "" + return '-'.join([hex(ord(char) ^ 127)[2:] for char in s]) + +def encrypt_blowfish(text: str, key: str) -> str: + """ + 使用Blowfish ECB模式加密文本，然后进行Base64编码。 + """ + cipher = Blowfish.new(key.encode('utf-8'), Blowfish.MODE_ECB) + padded_text = pad(text.encode('utf-8'), Blowfish.block_size) + encrypted_text = cipher.encrypt(padded_text) + return base64.b64encode(encrypted_text).decode('utf-8') + +# --- 核心功能 --- + +def is_port_open(ip_address, port): + """检查指定IP的端口是否开放""" + sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) + sock.settimeout(2) + result = sock.connect_ex((ip_address, port)) + sock.close() + return result == 0 + +def login(ip, username, password): + """ + 执行登录流程，返回一个包含认证cookie和CSRF令牌的requests.Session对象。 + """ + print("开始登录 bmc ------>") + base_url = f"https://{ip}" + session = requests.Session() + # 添加 'X-Requested-With' 头，模拟AJAX请求 + session.headers.update({ + 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/142.0.0.0 Safari/537.36', + 'Referer': f"{base_url}/main.html", + 'X-Requested-With': 'XMLHttpRequest' + }) + + # 1. 获取加密模式和登录标签 + try: + print("步骤 1/2: 获取加密模式...") + random_tag_resp = session.get(f"{base_url}/api/randomtag", timeout=10, verify=False) + random_tag_resp.raise_for_status() + login_data = random_tag_resp.json() + encrypt_ctrl = login_data.get('encrypt_ctrl', 0) + login_tag = login_data.get('random') + print(f"获取成功, 加密模式 (encrypt_ctrl): {encrypt_ctrl}") + except requests.RequestException as e: + print(f"获取加密模式失败: {e}") + return None + + # 2. 根据加密模式加密凭据并登录 + encrypt_username = username + encrypt_password = password + + if encrypt_ctrl == 1: + print("使用 XOR 加密...") + encrypt_username = encry_str(username) + encrypt_password = encry_str(password) + elif encrypt_ctrl == 2: + print("使用 Blowfish 加密...") + secret_key = "secret" + encrypt_username = encrypt_blowfish(username, secret_key) + encrypt_password = encrypt_blowfish(password, secret_key) + else: + print("使用明文...") + + login_payload = { + 'username': encrypt_username, + 'password': encrypt_password, + 'encrypt_flag': encrypt_ctrl, + 'login_tag': login_tag + } + + try: + print("步骤 2/2: 发送登录请求...") + login_resp = session.post(f"{base_url}/api/session", data=login_payload, timeout=10, verify=False) + login_resp.raise_for_status() + login_result = login_resp.json() + + if login_result.get('ok') == 0 and 'CSRFToken' in login_result: + csrf_token = login_result['CSRFToken'] + session.headers.update({'X-CSRFTOKEN': csrf_token}) + print(f"登录成功! CSRF Token已设置。") + print('——————————————————————————————————————————————————————————————') + return session + else: + error_msg = login_result.get('error_msg', '未知错误') + if 'CSRFToken' not in login_result: + error_msg = "登录响应中未找到 CSRFToken。" + print(f"登录失败: {error_msg}") + return None + + except requests.RequestException as e: + print(f"登录请求失败: {e}") + return None + +def get_fan_mode(session, ip): + """获取当前风扇控制模式""" + print("正在获取当前风扇模式...") + url = f"https://{ip}/api/settings/fans-mode" + try: + response = session.get(url, timeout=10, verify=False) + response.raise_for_status() + mode = response.json().get("control_mode", "未知") + print(f"获取成功, 当前风扇模式为: {mode}") + return mode + except requests.RequestException as e: + print(f"获取风扇模式失败: {e}") + return None + +def set_fan_mode(session, ip, mode): + """设置风扇控制模式 ('manual' 或 'auto')""" + print(f"开始设置风扇模式为: {mode}...") + url = f"https://{ip}/api/settings/fans-mode" + payload = {'control_mode': mode} + try: + response = session.post(url, json=payload, timeout=10, verify=False) + response.raise_for_status() + print(f"已成功发送设置请求，目标模式: {mode}") + print('——————————————————————————————————————————————————————————————') + return True + except requests.RequestException as e: + print(f"设置风扇模式失败: {e}") + return False + +def set_fan_speed(session, ip, fan_id, speed_percent): + """设置单个风扇的速度""" + print(f"开始调整风扇 {fan_id} 的速度为 {speed_percent}%") + url = f"https://{ip}/api/settings/fan/{fan_id}" + payload = {'duty': speed_percent} + try: + response = session.put(url, json=payload, timeout=10, verify=False) + response.raise_for_status() + print(f"调整风扇 {fan_id} 完成。") + return True + except requests.RequestException as e: + error_message = f"调整风扇 {fan_id} 失败: {e}" + if e.response is not None: + error_message += f"\n - Status Code: {e.response.status_code}" + error_message += f"\n - Response Body: {e.response.text}" + print(error_message) + return False + +def get_fan_info(session, ip): + """获取所有风扇的详细信息""" + print("正在获取所有风扇的当前状态...") + url = f"https://{ip}/api/status/fan_info" + try: + response = session.get(url, timeout=10, verify=False) + response.raise_for_status() + fan_info = response.json() + print("获取风扇状态成功。") + return fan_info.get("fans", []) + except (requests.RequestException, ValueError) as e: + print(f"获取风扇状态失败: {e}") + return None + +# --- 主程序 --- +if __name__ == "__main__": + print("感谢使用修改风扇速度脚本") + print(f'目标IP: {dic["ip"]}') + print(f'用户名: {dic["username"]}') + print(f'待调整速度: {dic["speed"]}%') + print('——————————————————————————————————————————————————————————————') + + # 检查端口连通性 + print("正在测试BMC控制台端口连通性...") + if not is_port_open(dic['ip'], 443): + print(f"无法连接到 {dic['ip']}:443 (HTTPS)。请检查网络连接或IP地址。") + exit() + print("端口测试通过。") + print('——————————————————————————————————————————————————————————————') + + # 登录 + auth_session = login(dic['ip'], dic['username'], dic['password']) + + if not auth_session: + print("无法完成登录，脚本退出。") + exit() + + # 获取当前模式 + current_mode = get_fan_mode(auth_session, dic['ip']) + print('——————————————————————————————————————————————————————————————') + + if current_mode == 'manual': + print("风扇已处于手动模式，无需再次设置。") + else: + # 设置为手动模式 + if not set_fan_mode(auth_session, dic['ip'], 'manual'): + print("无法设置风扇为手动模式，脚本退出。") + exit() + + # 再次获取模式以确认更改 + print("等待2秒后确认模式...") + time.sleep(2) + get_fan_mode(auth_session, dic['ip']) + print('——————————————————————————————————————————————————————————————') + + # 获取所有风扇的当前状态 + all_fans_info = get_fan_info(auth_session, dic['ip']) + if all_fans_info is None: + print("无法获取风扇信息，脚本退出。") + exit() + + # 将风扇列表转换为以ID为键的字典，方便快速查找 + # 注意：JSON中的id是数字，而配置中的是字符串 + fan_status_map = {str(fan['id']): fan for fan in all_fans_info} + + # 调整所有指定风扇的速度 + print('开始检查并调整所有指定风扇的风速...') + all_success = True + # 将配置中的速度转换为整数以便比较 + target_speed = int(dic['speed']) + + for fan_id_str in dic['fans']: + if fan_id_str not in fan_status_map: + print(f"警告: 在风扇信息中未找到ID为 {fan_id_str} 的风扇，跳过调整。") + continue + + current_fan = fan_status_map[fan_id_str] + current_speed = current_fan.get('speed_percent') + + if current_speed is None: + print(f"警告: 无法获取风扇 {fan_id_str} 的当前速度，跳过调整。") + continue + + print(f"检查风扇 {fan_id_str}: 当前速度 {current_speed}%, 目标速度 {target_speed}%") + + if current_speed == target_speed: + print(f"风扇 {fan_id_str} 的速度已是 {target_speed}%, 无需调整。") + else: + # 调用设置函数时，仍然使用配置中的原始字符串格式的速度值 + if not set_fan_speed(auth_session, dic['ip'], fan_id_str, dic['speed']): + all_success = False + print('---') # 为每个风扇的处理添加分隔符，使输出更清晰 + + print('——————————————————————————————————————————————————————————————') + + if all_success: + print('所有风扇速度调整任务已成功完成。') + else: + print('部分风扇速度调整失败，请检查上面的日志。') + + print('脚本执行完毕，退出。') + exit() From 6df89d31b65aafb6a0bab97c8112c2368205430e Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E6=9D=8E=E8=87=A3=E8=B6=85?= <517024110@qq.com> Date: Mon, 28 Sep 2026 18:56:13 +0800 Subject: [PATCH 03/13] =?UTF-8?q?=E9=87=8D=E6=9E=84:=20=E9=A3=8E=E6=89=87?= =?UTF-8?q?=E8=BD=AC=E9=80=9F=E4=B8=8E=E6=B8=A9=E5=BA=A6=E8=AF=BB=E5=8F=96?= =?UTF-8?q?=E7=BB=9F=E4=B8=80=E8=B5=B0=20Prometheus=EF=BC=8C=E6=96=B0?= =?UTF-8?q?=E5=A2=9E=E6=B0=B8=E6=93=8E=20EPYCD8=20=E6=8E=A7=E5=88=B6?= =?UTF-8?q?=E5=99=A8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 基类统一「读」: get_fan_rotational_speed / get_cpu_temperature 收归基类， 经 utils/prometheus_client.py 查询（ipmi_exporter / node_exporter / DCGM） - 各机型子类只保留「写」: set_fan_speed / 手动与自动模式切换 - 新增 fanController/epycd8_controller.py: 永擎 EPYCD8 的 8 字节全量写 （raw 0x3a 0x01，0x00 即交回 BMC 自动），温度源覆盖为 GPU 温度（DCGM） - 入口增加 CONTROLLER_TYPES 机型绑定表；配置模板与 CLAUDE.md 同步 - 修复: max(空列表) ValueError 空值保护 --- CLAUDE.md | 70 ++++++++-- fanController/base_controller.py | 177 +++++++++++++++++++++++-- fanController/dell730_controller.py | 45 ++----- fanController/epycd8_controller.py | 195 ++++++++++++++++++++++++++++ fan_settings.yaml.template | 59 +++++++++ fancontroller.py | 41 ++++-- fancontroller_once.py | 37 ++++-- utils/prometheus_client.py | 190 +++++++++++++++++++++++++++ 8 files changed, 735 insertions(+), 79 deletions(-) create mode 100644 fanController/epycd8_controller.py create mode 100644 utils/prometheus_client.py diff --git a/CLAUDE.md b/CLAUDE.md index 00a9dbc..7e3fb64 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -120,17 +120,25 @@ cat logs/fancontroller.log.YYYY-MM-DD ## 添加新服务器型号支持 -1. 在 `fanController/` 目录下创建新的控制器类文件 (如 `dellr410_controller.py`) -2. 继承 `IPMIFanController` 基类并实现以下方法: - - `get_cpu_temperature()`: 解析 IPMI 温度传感器输出 +> **架构原则（2026-09-28 改造后）：「读」统一，「写」分机型。** +> 风扇转速与温度都由基类从 Prometheus 取（数据源是 ipmi_exporter / DCGM）， +> 子类只负责实现该机型**特有的「写」命令**。 + +1. 在 `fanController/` 目录下创建新的控制器类文件（如 `epycd8_controller.py`） +2. 继承 `IPMIFanController` 基类，实现该机型特有的写操作： - `set_fan_speed(fan_index, percentage)`: 设置风扇转速的 IPMI raw 命令 - - `get_fan_rotational_speed()`: 解析 IPMI 风扇转速输出 - - `process_server_loop()`: 重写循环模式（如需特定初始化） - - `process_server_once()`: 重写单次模式（如需特定初始化） - - `start_fan_control()`: 启动循环控制 - - `run_once()`: 执行单次控制 -3. (可选) 重写 `set_ipmi_manual_mode()` 和 `set_ipmi_auto_mode()` 如果命令不同 -4. 在 `fancontroller.py` 和 `fancontroller_once.py` 中添加新类型的判断逻辑 + - `_get_base_command()`: 生成基础命令前缀（`ip: "local"` 时返回空串） + - `set_ipmi_manual_mode()` / `set_ipmi_auto_mode()`: 手动/自动模式切换 + （部分机型如 EPYCD8 没有独立的「切手动」命令，写占空比本身就是手动） + - `_build_temperature_query()` (**可选**): 换温度源时覆盖它。 + 默认查 **CPU 核心温度**（node_exporter 的 hwmon，按语义标签 `Tctl` 过滤）； + EPYCD8 覆盖此方法去查 **GPU 温度**（DCGM），因为它的机箱风扇是给 GPU 散热的 + - `start_fan_control()` / `run_once()`: 入口方法 +3. **不需要实现 `get_fan_rotational_speed()` 或 `get_cpu_temperature()`** + —— 两者都已由基类统一从 Prometheus 获取（原先各机型各写一份 sdr 解析， + 列结构还互不相同） +4. 在 `fancontroller.py` 与 `fancontroller_once.py` 的 `CONTROLLER_TYPES` + 字典里登记一行：`'新机型名': 新控制器类` ## 重要注意事项 @@ -152,9 +160,48 @@ cat logs/fancontroller.log.YYYY-MM-DD - 自动模式 IPMI 命令: `raw 0x30 0x30 0x01 0x01` - 设置风扇转速: `raw 0x30 0x30 0x02 0x{fan_index:02x} 0x{percentage:02x}` +### Prometheus 数据源（2026-09-28 改造） + +**「读」全部统一走 Prometheus**，不再由各机型子类执行 `ipmitool sdr`： + +```yaml +prometheus: + base_url: "http://192.168.6.31:30091" + timeout: 10 + +servers: + - type: epycd8 + prometheus: # per-server 覆盖（多机场景必需） + fan_instance: "192.168.6.7:9290" # 风扇转速 ← ipmi_exporter + temp_instance: "192.168.6.7:9100" # CPU 温度 ← node_exporter + gpu_instance: "192.168.6.7:9400" # GPU 温度 ← DCGM exporter +``` + +| 数据 | 指标 | instance（pve02 实测） | +|------|------|----------------------| +| 风扇转速 | `ipmi_fan_speed_rpm{name="FRNT_FAN1"}` | `192.168.6.7:9290` | +| CPU 温度 | `node_hwmon_temp_celsius`（按语义标签 `label="Tctl"` 过滤） | `192.168.6.7:9100` | +| GPU 温度 | `DCGM_FI_DEV_GPU_TEMP` | `192.168.6.7:9400` | + +⚠️ **三个 instance 对应三个不同的 exporter，混用会直接查不到数据。** 配置项 +分别为 `fan_instance` / `temp_instance` / `gpu_instance`（笼统的 `instance` 仍 +作兜底）。 + +⚠️ **拿到的是上一次 scrape 的快照，不是实时值。** pve 各 target 的 +`scrape_interval` 实测为 **30s**，也就是温度最多滞后 30 秒 —— 对控速决策是明显 +滞后，**建议把这些 target 的抓取间隔调小**（node_exporter 采集很轻，10s 毫无压力）。 + +⚠️ Prometheus 不可用时读不到任何数据（本地 in-band 的 ipmitool 反而不依赖它）。 +调用方已做空值保护，但排查时先查 Prometheus 连通性。 + +> 补充：CPU 温度走 `node_exporter --collector.hwmon`，它读的就是内核 hwmon +> （`/sys/class/hwmon/`），与直接读 sysfs 是同一份数据。注意 hwmon 里 k10temp +> 的 chip 名是 PCI 路径形式（`pci0000:00_0000:00:18_3`）而非可读的 `k10temp`， +> 所以查询用 `node_hwmon_sensor_label{label="Tctl"}` 做语义过滤，别硬编码 chip 名。 + ### 依赖项 - **PyYAML**: 用于解析 YAML 配置文件 -- 其他功能仅依赖 Python 标准库 +- 其他功能仅依赖 Python 标准库（Prometheus 查询用 `urllib` 实现，无需 `requests`） ## 兼容的服务器型号 @@ -162,3 +209,4 @@ cat logs/fancontroller.log.YYYY-MM-DD |------|------|------------| | Dell | 730XD | `dell730` | | Dell | 730 | `dell730` | +| ASRock Rack | EPYCD8 | `epycd8` | diff --git a/fanController/base_controller.py b/fanController/base_controller.py index c62edae..5ad4d28 100644 --- a/fanController/base_controller.py +++ b/fanController/base_controller.py @@ -4,8 +4,12 @@ import logging from datetime import datetime +from utils.prometheus_client import PrometheusClient, PrometheusError + + class IPMIFanController: - def __init__(self, servers, interval, windows_ipmi_tool_path, logger, auto=True, alert_config=None): + def __init__(self, servers, interval, windows_ipmi_tool_path, logger, auto=True, + alert_config=None, prometheus_config=None): """ 初始化 IPMI 风扇控制器。 @@ -16,6 +20,9 @@ def __init__(self, servers, interval, windows_ipmi_tool_path, logger, auto=True, logger (logging.Logger): 配置好的日志记录器实例。 auto (bool): 是否自动模式，True为自动模式，False为手动模式。 alert_config (dict, optional): 告警配置字典。 + prometheus_config (dict, optional): Prometheus 查询配置，形如 + ``{'base_url': 'http://192.168.6.31:30091', 'instance': '192.168.6.7:9290'}``。 + 风扇转速统一从这里取（见 :meth:`get_fan_rotational_speed`）。 """ self.platform_system = platform.system() if self.platform_system == 'Windows': @@ -56,6 +63,27 @@ def __init__(self, servers, interval, windows_ipmi_tool_path, logger, auto=True, self.logger.error(f"初始化邮件通知器失败: {str(e)}") self.alert_enabled = False + # --- Prometheus 数据源（风扇转速统一从这里取，见 get_fan_rotational_speed）--- + # 全局配置 + servers 项内的 per-server 覆盖：多机场景下每台机器的 + # instance 标签不同，必须逐台指定，否则会把别的机器的转速当成自己的。 + self.prometheus_config = dict(prometheus_config or {}) + server_override = self.servers.get('prometheus') or {} + if server_override: + self.prometheus_config.update(server_override) + + self.prometheus_client = None + base_url = self.prometheus_config.get('base_url') + if base_url: + self.prometheus_client = PrometheusClient( + base_url=base_url, + timeout=self.prometheus_config.get('timeout', 10), + ) + self.logger.info(f"服务器 {self.ip}: 风扇转速数据源 = Prometheus ({base_url})") + else: + self.logger.warning( + f"服务器 {self.ip}: 未配置 prometheus.base_url，风扇转速将无法获取" + ) + def send_command(self, cmd_in): """ 发送命令到系统 Shell。 @@ -96,14 +124,94 @@ def set_fan_speed(self, fan_index, percentage): """ raise NotImplementedError("Method set_fan_speed must be implemented by subclasses") - def get_cpu_temperature(self): + def _pick_instance(self, *keys): + """从 prometheus 配置里按顺序取第一个非空的 instance 标签。 + + ⚠️ **不同数据源的 instance 是不同的**，因为它们是各自的 exporter： + + ============ ================== ========================== + 数据 指标 instance（pve02 实测） + ============ ================== ========================== + 风扇转速 ipmi_fan_speed_rpm ``192.168.6.7:9290`` + CPU 温度 node_hwmon_temp_* ``192.168.6.7:9100`` + GPU 温度 DCGM_FI_DEV_* ``192.168.6.7:9400`` + ============ ================== ========================== + + 混用一个 ``instance`` 会直接查不到数据 —— 这个坑 2026-09-28 实现时踩到。 + 配置里推荐分别写 ``fan_instance`` / ``temp_instance`` / ``gpu_instance``； + 为兼容单数据源场景，仍接受笼统的 ``instance`` 作为兜底。 """ - 获取服务器的 CPU 温度。 + for key in keys: + value = self.prometheus_config.get(key) + if value: + return value + return None - Raises: - NotImplementedError: 子类必须实现此方法。 + #: 温度查询里用作语义过滤的传感器标签。 + #: AMD ``k10temp`` 与 Intel ``coretemp`` 的 CPU 核心温度标签都是 ``Tctl``。 + #: 子类可覆盖本常量，或直接覆盖 :meth:`_build_temperature_query`。 + TEMPERATURE_SENSOR_LABEL = "Tctl" + + def _build_temperature_query(self): + """组装温度查询语句（PromQL）。子类可覆盖以换温度源。 + + 默认查 **CPU 核心温度**，且刻意用**语义标签** ``Tctl`` 过滤，而不是 + 按 hwmon 的 chip 名 —— k10temp 在 Prometheus 里的 chip 名是 PCI 路径 + 形式（``pci0000:00_0000:00:18_3``），硬编码它换台机器就失效了。 + 用 chip 名反查的那个坑 2026-09-28 实测踩过一次。 + + Returns: + str | None: PromQL 语句；返回 ``None`` 表示无法构造（缺配置）。 """ - raise NotImplementedError("Method get_cpu_temperature must be implemented by subclasses") + instance = self._pick_instance('temp_instance', 'instance') + selectors = [f'label="{self.TEMPERATURE_SENSOR_LABEL}"'] + if instance: + selectors.append(f'instance="{instance}"') + label_filter = "{" + ",".join(selectors) + "}" + return ( + "node_hwmon_temp_celsius * on(chip, sensor) group_left(label) " + f"node_hwmon_sensor_label{label_filter}" + ) + + def get_cpu_temperature(self): + """获取温度（°C 列表）—— 统一走 Prometheus，与机型无关。 + + 2026-09-28 改造：与风扇转速同样的思路，「读」这一层收归基类。 + 数据源是 **node_exporter 的 hwmon collector**（``node_hwmon_temp_celsius``） + —— 它读的就是内核 hwmon（``/sys/class/hwmon/``），与直接读 sysfs + 是同一份数据，这里只是换成了 Prometheus 指标这一层封装。 + + ⚠️ **延迟提醒**：拿到的是 Prometheus 上一次 scrape 的快照。pve 各 + target 的 ``scrape_interval`` 实测为 **30s**，也就是温度最多滞后 30 秒。 + 对控速决策而言这是明显滞后 —— 建议把这些 target 的抓取间隔调小， + node_exporter 采集很轻，调到 10s 毫无压力。 + + Returns: + list: 温度列表（°C）。取不到时返回**空列表**，不抛异常。 + """ + if self.prometheus_client is None: + self.logger.error( + f"服务器 {self.ip}: 未配置 Prometheus 数据源，无法获取温度" + ) + return [] + + promql = self._build_temperature_query() + if not promql: + return [] + + try: + samples = self.prometheus_client.query(promql) + except PrometheusError as e: + self.logger.error(f"服务器 {self.ip}: 从 Prometheus 获取温度失败: {e}") + return [] + + temperatures = [s.value for s in samples] + if not temperatures: + self.logger.warning( + f"服务器 {self.ip}: Prometheus 中没有温度数据（查询: {promql}）—— " + f"确认目标机的 node_exporter 已开启 --collector.hwmon 并接入 Prometheus" + ) + return temperatures def set_ipmi_manual_mode(self): """ @@ -116,12 +224,48 @@ def set_ipmi_manual_mode(self): return self.ipmi_command(command) def get_fan_rotational_speed(self): - """获取 Dell 730 服务器 风扇转速 的方法。 + """获取风扇转速 —— 统一走 Prometheus（数据源是 ipmi_exporter）。 + + 2026-09-28 改造说明：原先「读转速」下放到各机型子类，各自执行 + ``ipmitool sdr type fan`` 再解析文本。三个问题： + + 1. **输出格式各机型不一致** —— Dell 与 ASRock Rack 的 sdr 列结构完全 + 两套，每加一个机型就要重写一遍解析（还容易写错，见 sensors.py 里 + 那个把传感器 ID 当成 RPM 的踩坑记录） + 2. **每轮都要 spawn 一个 ipmitool 进程**，还要管 BMC 连接 + 3. **读数口径可能与看板对不上** —— 控制器一个值、Grafana 另一个值 + + 改成统一查 Prometheus 后，「读」这一层与机型无关了，子类只需负责 + 「怎么写」（见 :meth:`set_fan_speed`）。 + + ⚠️ **代价**：拿到的是上一次 scrape 的快照（延迟由 Prometheus 的 + ``scrape_interval`` 决定），且 Prometheus 不可用时完全读不到数据。 Returns: - list: 包含 风扇转速 的列表。 + list: 风扇转速（RPM）列表。取不到时返回**空列表**，不抛异常 —— + 调用方必须自行处理空结果。 """ - raise NotImplementedError("Method get_cpu_temperature must be implemented by subclasses") + if self.prometheus_client is None: + self.logger.error( + f"服务器 {self.ip}: 未配置 Prometheus 数据源，无法获取风扇转速" + ) + return [] + + try: + speeds = self.prometheus_client.get_fan_speeds( + instance=self._pick_instance('fan_instance', 'instance') + ) + except PrometheusError as e: + self.logger.error(f"服务器 {self.ip}: 从 Prometheus 获取风扇转速失败: {e}") + return [] + + if not speeds: + self.logger.warning( + f"服务器 {self.ip}: Prometheus 中没有风扇转速数据 —— " + f"请确认该机器的 ipmi_exporter 已接入，且 prometheus.instance " + f"标签配置正确" + ) + return speeds def adjust_fans_once(self, prev_temp_ranges=None, prev_fan_speeds=None): """ @@ -154,8 +298,19 @@ def adjust_fans_once(self, prev_temp_ranges=None, prev_fan_speeds=None): max_temp_value = max(cpu_temps) min_temp_value = min(cpu_temps) avg_temp_value = sum(cpu_temps) // len(cpu_temps) - max_fan_speed = max(current_fan_speeds) - min_fan_speed = min(current_fan_speeds) + # ⚠️ 空值保护：改用 Prometheus 取数后，「查不到数据」是正常情况 + # （exporter 未接入 / Prometheus 挂了 / instance 标签配错）。 + # 上游在这里直接 max([]) 会 ValueError 把整个控制线程打挂， + # 进程还活着但已经不再控风扇 —— 典型的静默失效。 + if current_fan_speeds: + max_fan_speed = max(current_fan_speeds) + min_fan_speed = min(current_fan_speeds) + else: + max_fan_speed = 0 + min_fan_speed = 0 + self.logger.warning( + f"服务器 {self.ip}: 本轮没有风扇转速数据，跳过转速相关判断" + ) result['cpu_temp'] = max_temp_value result['max_fan_speed'] = max_fan_speed diff --git a/fanController/dell730_controller.py b/fanController/dell730_controller.py index 2a93a77..1d43e27 100644 --- a/fanController/dell730_controller.py +++ b/fanController/dell730_controller.py @@ -1,4 +1,3 @@ -import re import time import logging @@ -28,41 +27,15 @@ def set_fan_speed(self, fan_index, percentage): set_speed_cmd = f"{base_cmd} raw 0x30 0x30 0x02 0x{fan_index:02x} 0x{hex_percentage}" self.ipmi_command(set_speed_cmd.strip()) - def get_cpu_temperature(self): - """获取 Dell 730 服务器 CPU 温度的方法。 - - Returns: - list: 包含 CPU 温度的列表。 - """ - base_cmd = self._get_base_command() - command = f"{base_cmd} sdr type Temperature" - output = self.ipmi_command(command.strip()) - - temp_list = [] - for line in output.split("\n"): - items = line.split("|") - if len(items) > 1 and "ok" in items[2]: - if "0Eh" in items[1] or "0Fh" in items[1]: - temp_match = re.search(r'(\d+)\s+degrees\s+C', items[4]) - if temp_match: - temp = int(temp_match.group(1)) - temp_list.append(temp) - return temp_list - - def get_fan_rotational_speed(self): - """获取 Dell 730 服务器 风扇转速 的方法。 - - Returns: - list: 包含 风扇转速 的列表。 - """ - base_cmd = self._get_base_command() - command = f"{base_cmd} sdr type fan" - output = self.ipmi_command(command.strip()) - - rpm_values = re.findall(r'\|\s(\d+)\sRPM', output) - rpm_values = [int(rpm) for rpm in rpm_values] - - return rpm_values + # 注意：get_cpu_temperature() 与 get_fan_rotational_speed() 已于 2026-09-28 + # 从本类**移除**，「读」这一层收归基类统一走 Prometheus： + # - 温度 ← node_hwmon_temp_celsius（node_exporter 的 hwmon collector） + # - 转速 ← ipmi_fan_speed_rpm（ipmi_exporter） + # 原先这两个方法各自执行 `ipmitool sdr type Temperature / fan` 再正则解析， + # 而各机型的 sdr 列结构完全不同（Dell 与 ASRock Rack 就是两套），属于 + # 「按机型重复实现同一件事」。旧的 CPU 温度解析还依赖 `0Eh` / `0Fh` 这种 + # 传感器 ID 硬编码，固件一升级就可能失效。 + # 本类现在只负责 Dell 特有的「写」：set_fan_speed / 手动模式 / PCIe 散热响应。 def _initialize_dell730(self): """ diff --git a/fanController/epycd8_controller.py b/fanController/epycd8_controller.py new file mode 100644 index 0000000..ad88be2 --- /dev/null +++ b/fanController/epycd8_controller.py @@ -0,0 +1,195 @@ +"""ASRock Rack EPYCD8（永擎）风扇控制器。 + +**与 Dell 系列的区别全在「写」这一侧** —— 读取（温度、转速）由基类统一 +从 Prometheus 取，与本类无关： + +================= ======================================== ============================== +机型 设置风扇 恢复自动 +================= ======================================== ============================== +Dell 730 ``raw 0x30 0x30 0x02 0x{idx} 0x{pct}`` ``raw 0x30 0x30 0x01 0x01`` + 逐个风扇单独设，且**必须先切手动模式** +EPYCD8 ``raw 0x3a 0x01 b1..b8`` ``raw 0x3a 0x01 0x00 × 8`` + **一次全量写 8 字节**，无独立手动模式命令 +================= ======================================== ============================== + +**EPYCD8 的坑**（2026-09-17 / 09-28 实测）： + +1. **必须写满 8 个字节。** 少写一个字节 BMC 不报错、返回码仍为 0，但转速 + 纹丝不动。实测曾误给 7 字节，一度误判「该风扇位不可控」。 +2. **``0x00`` 就是「交回 BMC 自动」** —— 所以本机型不需要单独的 auto 命令， + 退出时把 8 字节全填 0x00 即可，比 Dell 省事。 +3. **手动值不持久化**，BMC 重启或整机断电后失效，自动回到 BMC 自动策略。 +4. CPU 温度达到临界阈值时，BMC 会**强行覆盖**手动值（热保护，不可对抗， + 也不应尝试对抗）。 + +8 字节位映射（b2 为保留位，恒 ``0x00``）:: + + b1 CPU1_FAN1 + b2 --（保留） + b3 REAR_FAN1 + b4 REAR_FAN2 ← pve02 用于 Tesla T10 散热 + b5 FRNT_FAN1 ← pve02 用于 Tesla T10 散热 + b6 FRNT_FAN2 （pve02 未接风扇） + b7 FRNT_FAN3 （pve02 未接风扇） + b8 FRNT_FAN4 （pve02 未接风扇） +""" + +from .base_controller import IPMIFanController + + +class Epycd8FanController(IPMIFanController): + """ASRock Rack EPYCD8 风扇控制器。 + + 只负责 EPYCD8 特有的「写」；「读」由基类提供（风扇转速走 Prometheus， + 温度在本类重写为取 GPU 温度，原因见 :meth:`get_cpu_temperature`）。 + """ + + #: 8 字节 payload 长度 —— 硬性要求，少一个字节整条命令会被静默忽略 + PAYLOAD_LEN = 8 + + #: 风扇位名称 → payload 下标（0-based）。基类的 ``enumerate(fan_speeds)`` + #: 传进来的 ``fan_index`` 就是这个下标。 + FAN_SLOT_INDEX = { + 'CPU1_FAN1': 0, + 'REAR_FAN1': 2, + 'REAR_FAN2': 3, + 'FRNT_FAN1': 4, + 'FRNT_FAN2': 5, + 'FRNT_FAN3': 6, + 'FRNT_FAN4': 7, + } + + #: 下标 → 风扇位名（构造一次，省得每次反查） + _INDEX_TO_SLOT = {v: k for k, v in FAN_SLOT_INDEX.items()} + + #: payload 中保留位的下标 + RESERVED_INDEX = 1 + + def __init__(self, *args, **kwargs): + super().__init__(*args, **kwargs) + # 维护 8 字节目标状态。BMC 要求全量写，所以必须记住其它位设过什么， + # 否则「只想改一个位」会把别的位一起踩成 0x00（= 全部交回自动）。 + # 初值全 0x00 = 全部交回 BMC 自动，是安全的起点。 + self._fan_duties = {slot: 0x00 for slot in self.FAN_SLOT_INDEX} + + # ------------------------------------------------------------ 基础命令 + + def _get_base_command(self): + """根据 IP 配置生成基础 IPMI 命令。 + + ``ip: "local"`` 时走本地 in-band（``/dev/ipmi0``），不带 lanplus 参数。 + """ + if self.ip == 'local': + return "" + return f"-I lanplus -H {self.ip} -U {self.user} -P {self.password}" + + # ------------------------------------------------------------ 读取（重写） + + def _build_temperature_query(self): + """覆盖基类：EPYCD8 要的是 **GPU 温度**，不是 CPU 温度。 + + 原因：BMC 里没有任何 GPU 温度传感器（实测温度项只有 MB / Card Side / + CPU / TR1 / DDR4_A~H），而机箱风扇 FRNT_FAN1 / REAR_FAN2 是两块 + Tesla T10（原厂被动散热）的唯一散热手段。所以基类里「CPU 温度」这个 + 字段名，在本机型上承载的其实是 GPU 温度。 + + 数据源同样是 Prometheus —— DCGM exporter 已接入 + （job ``dcgm-exporter-pve02``），指标 ``DCGM_FI_DEV_GPU_TEMP``。 + + Returns: + str | None: PromQL；未配置 ``gpu_instance`` 时返回 ``None``。 + """ + instance = self.prometheus_config.get('gpu_instance') + if not instance: + self.logger.error( + f"服务器 {self.ip}: 未配置 prometheus.gpu_instance，无法定位 " + f"DCGM 数据（例: 192.168.6.7:9400）" + ) + return None + return f'DCGM_FI_DEV_GPU_TEMP{{instance="{instance}"}}' + + # ------------------------------------------------------------ 写入 + + def set_fan_speed(self, fan_index, percentage): + """设置风扇转速。 + + Args: + fan_index (int): **payload 下标**（0-based），与配置里 ``fan_speeds`` + 列表的位置一一对应。 + percentage (int): 转速百分比。``1~100`` = 手动占空比； + **``0`` = 把该位交回 BMC 自动控制**（这和 Dell 不同 —— + Dell 那边 0 无意义，EPYCD8 这边 0 是个有语义的值）。 + + 说明：单次调用**不会**立即下发，而是更新目标状态后整包写出。 + 因为 BMC 要求 8 字节全量写，逐个位调用来回写 8 次既慢又容易互相踩。 + 基类的 ``adjust_fans_once`` 会 ``enumerate`` 遍历所有位，所以 + 一整套调完正好写一整包。 + """ + slot = self._INDEX_TO_SLOT.get(fan_index) + if slot is None: + self.logger.warning( + f"服务器 {self.ip}: 未知风扇下标 {fan_index}（合法范围 " + f"0~{self.PAYLOAD_LEN - 1}），跳过" + ) + return + + if percentage == 0: + duty = 0x00 + elif 1 <= percentage <= 100: + duty = percentage + else: + self.logger.warning( + f"服务器 {self.ip}: 非法占空比 {percentage}%（应为 0 或 1~100），跳过" + ) + return + + self._fan_duties[slot] = duty + self._write_payload() + + def _write_payload(self): + """把当前目标状态按 8 字节全量写下去。 + + **永远写满 8 字节** —— 这是这个机型最容易踩的坑，见模块头部说明。 + """ + payload = [0x00] * self.PAYLOAD_LEN + for slot, duty in self._fan_duties.items(): + payload[self.FAN_SLOT_INDEX[slot]] = duty + payload[self.RESERVED_INDEX] = 0x00 # 保留位恒 0 + + bytes_str = " ".join(f"0x{b:02x}" for b in payload) + base_cmd = self._get_base_command() + command = f"{base_cmd} raw 0x3a 0x01 {bytes_str}" + self.ipmi_command(command.strip()) + + # ------------------------------------------------------------ 模式切换 + + def set_ipmi_manual_mode(self): + """EPYCD8 没有独立的「切手动」命令 —— 写入非零占空比本身就是手动模式。 + + 所以这里**什么都不做**，只记一条日志。刻意不去刷一遍 payload： + 程序刚启动、目标值还没算出来的时候刷一遍，会把当前状态清成全自动， + 造成一次没必要的转速波动。 + """ + self.logger.info( + f"服务器 {self.ip}: EPYCD8 无需单独切换手动模式（写占空比即进入手动）" + ) + + def set_ipmi_auto_mode(self): + """把全部风扇位交回 BMC 自动控制（8 字节全填 0x00）。 + + 这是本机型的**安全回退动作**，也是它比 Dell 省事的地方 —— + 不需要额外的 ``raw 0x30 0x30 0x01 0x01``。 + """ + self._fan_duties = {slot: 0x00 for slot in self.FAN_SLOT_INDEX} + self._write_payload() + self.logger.info(f"服务器 {self.ip}: 已把全部风扇位交回 BMC 自动控制") + + # ------------------------------------------------------------ 入口 + + def start_fan_control(self): + """启动循环控制（供 ``fancontroller.py`` 调用）。""" + self.process_server_loop() + + def run_once(self): + """执行一次控制（供 ``fancontroller_once.py`` 调用）。""" + self.process_server_once() diff --git a/fan_settings.yaml.template b/fan_settings.yaml.template index 8b4d92e..8881c77 100644 --- a/fan_settings.yaml.template +++ b/fan_settings.yaml.template @@ -45,6 +45,23 @@ alert: - "admin@example.com" - "alert@example.com" +# Prometheus 数据源（风扇转速统一从这里取） +# +# 2026-09-28 改造：不再由各机型子类执行 `ipmitool sdr type fan` 拉转速， +# 统一改为查 Prometheus（数据源是 ipmi_exporter）。这样「读」这一层与机型 +# 无关 —— 加新机型时只需要写它特有的「写」命令。 +# +# ⚠️ 注意：拿到的是**上一次 scrape 的快照**，不是实时值。所以「设完转速立刻 +# 回读验证」会读到旧值，需要等一个 scrape 周期。 +prometheus: + # Prometheus 地址（本项目实测为 k8s 集群 NodePort） + base_url: "http://192.168.6.31:30091" + # 单次查询超时（秒） + timeout: 10 + # + # 「读哪台机器」由 instance 标签决定，**必须逐台在 servers[].prometheus + # 里指定** —— 不同数据的 instance 是不同的 exporter 地址，见下面 epycd8 示例。 + # 服务器列表 servers: - type: dell730 # 服务器类型 @@ -82,3 +99,45 @@ servers: - min_temp: 61 max_temp: 80 fan_speeds: [25, 25, 25, 25, 25, 25] + + # ================= ASRock Rack EPYCD8（永擎）================= + # + # 与 Dell 的关键差异（写命令完全不同，详见 fanController/epycd8_controller.py）： + # + # 1. fan_speeds 必须给 **8 个值**（Dell 730 是 6 个），按 payload 下标对应： + # 下标 0 = CPU1_FAN1 下标 1 = 保留位（恒自动） + # 下标 2 = REAR_FAN1 下标 3 = REAR_FAN2 + # 下标 4 = FRNT_FAN1 下标 5~7 = FRNT_FAN2~4 + # + # 2. **值写 0 = 把该位交回 BMC 自动控制**（Dell 那边 0 没有意义）。 + # 所以「只控两个 GPU 风扇位」就写成 [0,0,0,50,50,0,0,0] + # + # 3. 本机型的「温度」指的是 **GPU 温度**：BMC 里没有任何 GPU 温度传感器， + # 而机箱风扇是 Tesla T10（原厂被动散热）的唯一散热手段。温度源同样 + # 走 Prometheus（DCGM exporter 的 DCGM_FI_DEV_GPU_TEMP）。 + - type: epycd8 + ip: "local" # 脚本跑在目标机本机时填 local（走 in-band，无需凭据） + user: "-" + password: "-" + prometheus: # per-server 覆盖全局配置（多机场景必需） + # ⚠️ 三个 instance 对应三个**不同的 exporter**，混用会直接查不到数据： + fan_instance: "192.168.6.7:9290" # 风扇转速 ← ipmi_exporter + temp_instance: "192.168.6.7:9100" # CPU 温度 ← node_exporter（需开 --collector.hwmon） + gpu_instance: "192.168.6.7:9400" # GPU 温度 ← DCGM exporter（仅本机型用） + temperature_ranges: + # 温度区间按 GPU 温度划分（多卡时取最热那张） + - min_temp: 0 + max_temp: 54 + fan_speeds: [0, 0, 0, 40, 40, 0, 0, 0] # REAR_FAN2 + FRNT_FAN1 = 40% + - min_temp: 55 + max_temp: 64 + fan_speeds: [0, 0, 0, 50, 50, 0, 0, 0] + - min_temp: 65 + max_temp: 74 + fan_speeds: [0, 0, 0, 70, 70, 0, 0, 0] + - min_temp: 75 + max_temp: 84 + fan_speeds: [0, 0, 0, 85, 85, 0, 0, 0] + - min_temp: 85 + max_temp: 120 + fan_speeds: [0, 0, 0, 100, 100, 0, 0, 0] # 拉满 diff --git a/fancontroller.py b/fancontroller.py index e6bb6d9..17edcad 100644 --- a/fancontroller.py +++ b/fancontroller.py @@ -22,6 +22,16 @@ import yaml from fanController.dell730_controller import Dell730FanController +from fanController.epycd8_controller import Epycd8FanController + + +#: 机型 → 控制器类 的映射。 +#: 配置里 ``servers[].type`` 填什么，就分发到哪个控制器 —— 新增机型时在这里 +#: 登记一行即可，下面的分发逻辑不用动。 +CONTROLLER_TYPES = { + 'dell730': Dell730FanController, + 'epycd8': Epycd8FanController, +} def main(): @@ -79,21 +89,30 @@ def main(): windows_ipmi_tool_path = data['windows_ipmi_tool_path'] interval = data['interval'] alert_config = data.get('alert', {}) # 获取告警配置 + prometheus_config = data.get('prometheus', {}) # Prometheus 数据源配置 threads = [] for server in servers: - if server['type'] == 'dell730': - fan_controller = Dell730FanController( - servers=server, - interval=interval, - windows_ipmi_tool_path=windows_ipmi_tool_path, - logger=logger, - auto=True, # 循环模式 - alert_config=alert_config + controller_class = CONTROLLER_TYPES.get(server['type']) + if controller_class is None: + logger.warning( + f"未知的服务器类型 {server['type']!r}（{server.get('ip')}），已跳过。" + f"当前支持的机型: {', '.join(sorted(CONTROLLER_TYPES))}" ) - thread = threading.Thread(target=fan_controller.start_fan_control, name=f"Thread-{server['ip']}") - thread.start() - threads.append(thread) + continue + + fan_controller = controller_class( + servers=server, + interval=interval, + windows_ipmi_tool_path=windows_ipmi_tool_path, + logger=logger, + auto=True, # 循环模式 + alert_config=alert_config, + prometheus_config=prometheus_config, + ) + thread = threading.Thread(target=fan_controller.start_fan_control, name=f"Thread-{server['ip']}") + thread.start() + threads.append(thread) for thread in threads: thread.join() diff --git a/fancontroller_once.py b/fancontroller_once.py index c112ede..e6e66d0 100644 --- a/fancontroller_once.py +++ b/fancontroller_once.py @@ -21,6 +21,14 @@ import yaml from fanController.dell730_controller import Dell730FanController +from fanController.epycd8_controller import Epycd8FanController + + +#: 机型 → 控制器类 的映射（与 fancontroller.py 保持一致）。 +CONTROLLER_TYPES = { + 'dell730': Dell730FanController, + 'epycd8': Epycd8FanController, +} def main(): @@ -76,19 +84,28 @@ def main(): windows_ipmi_tool_path = data['windows_ipmi_tool_path'] interval = data.get('interval', 60) # 单次模式不使用 interval，但保留参数兼容性 alert_config = data.get('alert', {}) # 获取告警配置 + prometheus_config = data.get('prometheus', {}) # Prometheus 数据源配置 for server in servers: - if server['type'] == 'dell730': - fan_controller = Dell730FanController( - servers=server, - interval=interval, - windows_ipmi_tool_path=windows_ipmi_tool_path, - logger=logger, - auto=False, # 单次模式不需要 auto 参数 - alert_config=alert_config + controller_class = CONTROLLER_TYPES.get(server['type']) + if controller_class is None: + logger.warning( + f"未知的服务器类型 {server['type']!r}（{server.get('ip')}），已跳过。" + f"当前支持的机型: {', '.join(sorted(CONTROLLER_TYPES))}" ) - # 执行一次风扇控制 - fan_controller.run_once() + continue + + fan_controller = controller_class( + servers=server, + interval=interval, + windows_ipmi_tool_path=windows_ipmi_tool_path, + logger=logger, + auto=False, # 单次模式不需要 auto 参数 + alert_config=alert_config, + prometheus_config=prometheus_config, + ) + # 执行一次风扇控制 + fan_controller.run_once() logger.info("单次执行完成") diff --git a/utils/prometheus_client.py b/utils/prometheus_client.py new file mode 100644 index 0000000..2badf04 --- /dev/null +++ b/utils/prometheus_client.py @@ -0,0 +1,190 @@ +"""Prometheus HTTP API 查询封装。 + +**背景**：原先风扇转速是直接执行 ``ipmitool sdr type fan`` 再解析文本得到的。 +2026-09-28 起改为统一走 Prometheus（数据源是 ipmi_exporter）。 + +这么改的好处： + +1. 读数口径与看板一致，不会出现「控制器一个值、Grafana 另一个值」 +2. 不必每轮 spawn 一个 ipmitool 进程，也不用管 BMC 连接 +3. ipmitool 的人类可读输出格式在不同机型/版本差异极大（Dell 与 ASRock Rack + 就完全是两套列结构），而 Prometheus 指标格式是标准化的 + +**代价（必须知道，不然会踩坑）**： + +1. 拿到的是**上一次 scrape 的快照**，不是实时值。延迟由 Prometheus 的 + ``scrape_interval`` 决定。所以「设完转速立刻回读验证」这类操作会读到旧值， + 需要等一个 scrape 周期。 +2. **Prometheus 不可用时完全读不到数据** —— 本地 in-band 的 ipmitool 反而 + 不依赖它。所以调用方必须处理空结果，不能假设一定有数据。 +3. 所有被监控机器的 ``ipmi_fan_speed_rpm`` 混在同一个指标里，**必须用 + ``instance`` 标签限定目标机器**，否则会把 A 机器的转速当成 B 机器的。 + +只用标准库实现，不引入 ``requests`` —— 这个项目当前的依赖只有 PyYAML， +保持这一点。 +""" + +from __future__ import annotations + +import json +import logging +import urllib.error +import urllib.parse +import urllib.request +from dataclasses import dataclass, field + +logger = logging.getLogger(__name__) + + +class PrometheusError(RuntimeError): + """Prometheus 查询失败（网络不通、返回非法 JSON、查询报错等）。""" + + +@dataclass(frozen=True) +class PromSample: + """一条查询结果样本。""" + + labels: dict = field(default_factory=dict) + value: float = 0.0 + + @property + def name(self) -> str: + """``name`` 标签，即传感器/风扇位名称。""" + return self.labels.get("name", "") + + @property + def instance(self) -> str: + return self.labels.get("instance", "") + + +class PrometheusClient: + """极简 Prometheus HTTP API 客户端（只用到瞬时查询）。""" + + def __init__(self, base_url: str, timeout: float = 10.0): + """ + Args: + base_url: Prometheus 地址，如 ``http://192.168.6.31:30091``。 + timeout: 单次查询超时（秒）。**必须有** —— 上游项目就是因为 + 不带超时的阻塞式 subprocess 读取而静默挂死过。 + """ + self.base_url = base_url.rstrip("/") + self.timeout = timeout + + # ------------------------------------------------------------ 基础查询 + + def query(self, promql: str) -> list[PromSample]: + """执行瞬时查询（``/api/v1/query``）。 + + Raises: + PrometheusError: 网络不通、返回非法 JSON，或查询本身报错。 + """ + params = urllib.parse.urlencode({"query": promql}) + url = f"{self.base_url}/api/v1/query?{params}" + request = urllib.request.Request( + url, headers={"User-Agent": "python-ipmitool/1.0"} + ) + + try: + with urllib.request.urlopen(request, timeout=self.timeout) as response: + payload = json.loads(response.read().decode("utf-8", errors="replace")) + except urllib.error.URLError as exc: + raise PrometheusError(f"连不上 Prometheus {self.base_url}: {exc}") from exc + except (json.JSONDecodeError, ValueError) as exc: + raise PrometheusError(f"Prometheus 返回的不是合法 JSON: {exc}") from exc + + if payload.get("status") != "success": + raise PrometheusError( + f"Prometheus 查询失败: {payload.get('error', payload)}" + ) + + samples: list[PromSample] = [] + for item in payload.get("data", {}).get("result", []): + try: + value = float(item["value"][1]) + except (KeyError, IndexError, ValueError, TypeError): + continue # 非向量结果或 NaN 之类，跳过 + samples.append(PromSample(labels=item.get("metric", {}), value=value)) + return samples + + # ------------------------------------------------------------ 风扇转速 + + def _fan_selector(self, instance: str | None, job: str | None) -> str: + selectors = [] + if instance: + selectors.append(f'instance="{instance}"') + if job: + selectors.append(f'job="{job}"') + return "{" + ",".join(selectors) + "}" if selectors else "" + + def get_fan_speeds_by_name( + self, instance: str | None = None, job: str | None = None + ) -> dict[str, float]: + """查询风扇转速，返回 ``{风扇位名: RPM}``。 + + Args: + instance: 限定 Prometheus 的 ``instance`` 标签，如 + ``192.168.6.7:9290``。**多机环境务必传**，否则会把别的 + 机器的转速混进来。 + job: 可选，进一步限定抓取任务名。 + """ + promql = "ipmi_fan_speed_rpm" + self._fan_selector(instance, job) + samples = self.query(promql) + readings = {s.name: s.value for s in samples if s.name} + if not readings: + logger.warning( + "Prometheus 里查不到风扇转速（查询: %s）—— " + "确认目标机器的 ipmi_exporter 已接入且 instance 标签填对了", + promql, + ) + else: + logger.debug( + "从 Prometheus 取到 %d 个风扇位: %s", + len(readings), + ", ".join(f"{k}={v:.0f}" for k, v in readings.items()), + ) + return readings + + def get_fan_speeds( + self, instance: str | None = None, job: str | None = None + ) -> list[float]: + """查询风扇转速，返回 RPM 列表。 + + 注意：返回的是**列表**，风扇位顺序由 Prometheus 返回顺序决定， + 不保证与机箱物理编号一致。调用方若只关心「最高的那个」（比如 + 上游的异常转速判断）则不受影响；若要按位对应，请改用 + :meth:`get_fan_speeds_by_name`。 + """ + return list(self.get_fan_speeds_by_name(instance, job).values()) + + # ------------------------------------------------------------ GPU 温度 + + def get_gpu_temperatures( + self, instance: str | None = None, job: str | None = None + ) -> list[float]: + """查询 GPU 温度（DCGM），返回 °C 列表。 + + ``DCGM_FI_DEV_GPU_TEMP`` 每张卡一条，靠 ``UUID`` 标签区分。这里只返回 + 温度值列表，调用方通常取 ``max()`` —— 多卡机器上「最热的那张」才是 + 决定风量的那张。 + + Args: + instance: DCGM exporter 的 instance 标签，如 ``192.168.6.7:9400``。 + """ + selectors = [] + if instance: + selectors.append(f'instance="{instance}"') + if job: + selectors.append(f'job="{job}"') + promql = "DCGM_FI_DEV_GPU_TEMP" + if selectors: + promql += "{" + ",".join(selectors) + "}" + + samples = self.query(promql) + temperatures = [s.value for s in samples] + if not temperatures: + logger.warning( + "Prometheus 里查不到 GPU 温度（查询: %s）—— " + "确认 DCGM exporter 已接入且 instance 标签填对了", + promql, + ) + return temperatures From 9319ee0f8d1ee0668318dcaf1ea392530539032a Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E6=9D=8E=E8=87=A3=E8=B6=85?= <517024110@qq.com> Date: Mon, 28 Sep 2026 18:56:27 +0800 Subject: [PATCH 04/13] =?UTF-8?q?=E6=96=B0=E5=A2=9E:=20GPU=20=E9=A3=8E?= =?UTF-8?q?=E6=89=87=E6=8E=A7=E5=88=B6=E5=8F=B0=E5=8D=95=E6=9C=BA=E5=BA=94?= =?UTF-8?q?=E7=94=A8=EF=BC=88FastAPI=20+=20=E9=97=AD=E7=8E=AF=E6=8E=A7?= =?UTF-8?q?=E5=88=B6=20+=20=E5=AE=89=E5=85=A8=E6=8A=A4=E6=A0=8F=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit app/ 为跑在 pve02 本机的单机应用（观测走 exporter，调控走 ipmitool raw）: - controller.py 闭环控制: 「散热源(GPU/CPU) → 风扇位」分配驱动， 分段曲线 + 降温滞回 + 紧急全速(含滞回解除)；分配未配置时兜底 跟随最热卡，不掉进 BMC 失明档 - safety.py 安全护栏: SIGTERM/SIGINT/atexit 全路径交回 BMC 自动， 心跳文件供独立看门狗兜底 - ipmi.py 8 字节全量 payload 编解码（少一字节 BMC 静默忽略） - sensors.py 多源读取: DCGM 端点 / nvidia-smi 兜底 / ipmi_exporter / node_exporter hwmon（k10temp 按语义标签 Tctl 关联） - store.py SQLite 持久化: 分配关系 + 运行时设置 + 操作审计 （谁在什么时候改了风扇，查 audit_log） - api.py REST + WebSocket 实时快照；api/history 代理 Prometheus query_range（浏览器不直连监控栈） - 设置与分配双向打通: 未纳入管控的 GPU 不能持有分配；取消管控 联动清除分配；启动恢复先设置后分配 + 脏数据自愈 - 掉卡语义: 该风扇位交回 BMC 自动（不狂转），卡恢复后自动接管 - deploy/: systemd 服务（开机自启 + TimeoutStopSec 保证退出回落） 与独立心跳看门狗（timer 每 2 分钟检查） - 54 个单元测试（payload 编解码 / 曲线滞回 / 分配校验 / 传感器解析） --- .gitignore | 10 + app/__init__.py | 11 + app/api.py | 483 +++++++++++++ app/config.py | 161 +++++ app/config.yaml | 90 +++ app/controller.py | 1074 ++++++++++++++++++++++++++++ app/curve.py | 164 +++++ app/deploy/fan-watchdog.service | 8 + app/deploy/fan-watchdog.sh | 65 ++ app/deploy/fan-watchdog.timer | 12 + app/deploy/gpu-fan-console.service | 28 + app/diagnose.py | 268 +++++++ app/ipmi.py | 339 +++++++++ app/main.py | 198 +++++ app/requirements.txt | 4 + app/safety.py | 186 +++++ app/sensors.py | 632 ++++++++++++++++ app/store.py | 255 +++++++ app/tests/__init__.py | 1 + app/tests/test_core.py | 624 ++++++++++++++++ 20 files changed, 4613 insertions(+) create mode 100644 app/__init__.py create mode 100644 app/api.py create mode 100644 app/config.py create mode 100644 app/config.yaml create mode 100644 app/controller.py create mode 100644 app/curve.py create mode 100644 app/deploy/fan-watchdog.service create mode 100644 app/deploy/fan-watchdog.sh create mode 100644 app/deploy/fan-watchdog.timer create mode 100644 app/deploy/gpu-fan-console.service create mode 100644 app/diagnose.py create mode 100644 app/ipmi.py create mode 100644 app/main.py create mode 100644 app/requirements.txt create mode 100644 app/safety.py create mode 100644 app/sensors.py create mode 100644 app/store.py create mode 100644 app/tests/__init__.py create mode 100644 app/tests/test_core.py diff --git a/.gitignore b/.gitignore index c86d4cb..1d3f4df 100644 --- a/.gitignore +++ b/.gitignore @@ -1,3 +1,13 @@ +# 本地工作数据（WorkBuddy 记忆目录与 agent-ssh-cli 锁文件），不进版本库 +.workbuddy/ +agent-ssh-cli-*.lock + +# 运行时数据：SQLite 库（绑定 + 审计）、心跳文件等，属于机器本地状态 +app/data/ + +# 前端构建产物：由 frontend/ 构建生成（npm run build），不进版本库 +app/static/ + # Byte-compiled / optimized / DLL files __pycache__/ *.py[cod] diff --git a/app/__init__.py b/app/__init__.py new file mode 100644 index 0000000..ac3fb04 --- /dev/null +++ b/app/__init__.py @@ -0,0 +1,11 @@ +"""GPU 风扇监控控制台 —— 单机应用。 + +一个进程同时承担三件事： +1. **控制回路**：读 GPU 温度 → 算占空比 → 写 IPMI（后台任务） +2. **API 服务**：REST + WebSocket 给前端 +3. **静态托管**：直接伺服前端构建产物 + +没有跨机通信、没有独立 agent —— 它只管 pve02 自己这台机器的风扇。 +""" + +__version__ = "0.1.0" diff --git a/app/api.py b/app/api.py new file mode 100644 index 0000000..dab2e12 --- /dev/null +++ b/app/api.py @@ -0,0 +1,483 @@ +"""REST + WebSocket 路由。 + +控制器实例挂在 ``app.state`` 上，路由通过 ``request.app.state`` 取用 —— +不引入全局单例，方便将来写测试时替换成假的控制器。 +""" + +from __future__ import annotations + +import asyncio +import json +import logging +import time +import urllib.error +import urllib.parse +import urllib.request +from typing import Any, Literal + +from fastapi import ( + APIRouter, + HTTPException, + Query, + Request, + WebSocket, + WebSocketDisconnect, +) +from pydantic import BaseModel, Field + +from .controller import FanController + +logger = logging.getLogger(__name__) + +router = APIRouter() + +#: WebSocket 推送间隔（秒）。比控制周期快，前端看起来才像"实时"。 +WS_PUSH_INTERVAL = 2.0 + + +# ------------------------------------------------------------------ 请求模型 + + +class ModeRequest(BaseModel): + mode: Literal["auto", "manual"] = Field(description="auto=曲线自动；manual=手动固定") + + +class ManualDutyRequest(BaseModel): + slot: str = Field(description="风扇位名，如 FRNT_FAN1") + duty: int | None = Field( + default=None, + ge=1, + le=100, + description="占空比百分比。传 null 表示把该位交回 BMC 自动控制。", + ) + + +class AssignmentItem(BaseModel): + """一个散热源的风扇分配。**主体是源（GPU），它去挑风扇接口。**""" + + key: str = Field(description="源的唯一键：gpu: