ServerBox 能否监控 GPU 使用情况和显存
哪些场景需要 GPU 监控
GPU 服务器现在越来越常见——AI 训练、推理、视频转码都需要。ServerBox 在监控面板里集成了 GPU 状态,前提是服务器上装好驱动并且命令行工具可用。
支持的 GPU 类型
| GPU 品牌 | 依赖 | 说明 |
|---|---|---|
| NVIDIA | nvidia-smi | 最成熟,支持所有消费级和数据中心 GPU |
| AMD | rocm-smi | 需要安装 ROCm 工具链 |
| Intel | intel_gpu_top | 需要 Intel GPU 工具 |
ServerBox 会自动检测服务器上装了哪种工具,能读就读,读不到就跳过(不会报错)。
GPU 面板展示什么
- GPU 使用率:当前核心计算占用百分比
- 显存总量 / 已用 / 可用
- GPU 温度
- 功耗:当前实时功耗(如果硬件支持)
- 运行中的 CUDA 进程:哪些进程在占 GPU
AI 服务器上的典型用法
如果你在用服务器跑 LLM 推理或训练:
- 打开 ServerBox 看 GPU 面板
- 推理时 GPU 使用率应该比较高(70%~95%)
- 显存接近满载 = 模型刚好装下,没有余量
- 训练时显存应该更满,如果爆了说明 batch size 太大
云服务器 GPU 监控
云服务器上的 GPU 监控通常也能用——AWS、阿里云、GCP 提供的 GPU 实例(如 A100、T4、V100)装好 NVIDIA 驱动后,nvidia-smi 就可用,ServerBox 自然就能读到。
GPU 面板空白怎么办
如果 GPU 面板显示空,按顺序排查:
- 服务器上是否装好驱动:
nvidia-smi手动跑一下看有没有输出 - ServerBox 用的用户有没有权限读 GPU 状态(一般不需要特殊权限)
- NVIDIA 容器里用 GPU:需要 Docker 装 nvidia-container-toolkit,容器里 nvidia-smi 才可见