ServerBox 中文文档 下载 App

ServerBox 能否监控 GPU 使用情况和显存

哪些场景需要 GPU 监控

GPU 服务器现在越来越常见——AI 训练、推理、视频转码都需要。ServerBox 在监控面板里集成了 GPU 状态,前提是服务器上装好驱动并且命令行工具可用。

支持的 GPU 类型

GPU 品牌依赖说明
NVIDIAnvidia-smi最成熟,支持所有消费级和数据中心 GPU
AMDrocm-smi需要安装 ROCm 工具链
Intelintel_gpu_top需要 Intel GPU 工具

ServerBox 会自动检测服务器上装了哪种工具,能读就读,读不到就跳过(不会报错)。

GPU 面板展示什么

AI 服务器上的典型用法

如果你在用服务器跑 LLM 推理或训练:

  1. 打开 ServerBox 看 GPU 面板
  2. 推理时 GPU 使用率应该比较高(70%~95%)
  3. 显存接近满载 = 模型刚好装下,没有余量
  4. 训练时显存应该更满,如果爆了说明 batch size 太大

云服务器 GPU 监控

云服务器上的 GPU 监控通常也能用——AWS、阿里云、GCP 提供的 GPU 实例(如 A100、T4、V100)装好 NVIDIA 驱动后,nvidia-smi 就可用,ServerBox 自然就能读到。

GPU 面板空白怎么办

如果 GPU 面板显示空,按顺序排查:

  1. 服务器上是否装好驱动:nvidia-smi 手动跑一下看有没有输出
  2. ServerBox 用的用户有没有权限读 GPU 状态(一般不需要特殊权限)
  3. NVIDIA 容器里用 GPU:需要 Docker 装 nvidia-container-toolkit,容器里 nvidia-smi 才可见