IMS系统监控告警完全指南

监控体系概述

完善的监控体系是保障 IMS 系统稳定运行的基础。监控系统需要覆盖基础设施、应用服务、业务指标三个层面，实现问题的早发现、早处理。

监控指标分类

IMS 系统的监控指标通常分为以下几类：

1. 基础设施监控：CPU、内存、磁盘、网络等资源使用情况

2. 应用性能监控：接口响应时间、吞吐量、错误率

3. 数据库监控：连接数、查询耗时、慢查询、缓存命中率

4. 业务指标监控：在线用户数、并发请求数、业务操作成功率

5. 日志监控：错误日志、异常堆栈、审计日志

指标采集方案

推荐使用 Prometheus + 客户端库进行指标采集：

// Prometheus 指标定义（以 Java 为例）
import io.prometheus.client.Counter;
import io.prometheus.client.Histogram;

// 请求计数器
static final Counter requestsTotal = Counter.build()
    .name("ims_requests_total")
    .labelNames("method", "path", "status")
    .help("Total number of requests")
    .register();

// 接口响应时间直方图
static final Histogram requestDuration = Histogram.build()
    .name("ims_request_duration_seconds")
    .labelNames("method", "path")
    .help("Request duration in seconds")
    .register();

// 使用示例
public Response handleRequest(Request req) {
    Histogram.Timer timer = requestDuration.labels(req.getMethod(), req.getPath()).startTimer();
    try {
        // 业务逻辑
        return process(req);
    } finally {
        timer.observeDuration();
        requestsTotal.labels(req.getMethod(), req.getPath(), "200").inc();
    }
}

告警规则设计

告警规则需要根据业务场景合理设置阈值和级别：

// Prometheus 告警规则
groups:
- name: ims-alerts
  rules:
  # 服务不可用告警
  - alert: ServiceDown
    expr: up{job="ims-services"} == 0
    for: 1m
    labels:
      severity: critical
    annotations:
      summary: "服务 {{ $labels.instance }} 不可用"

  # 错误率过高告警
  - alert: HighErrorRate
    expr: |
      sum(rate(ims_requests_total{status=~"5.."}[5m]))
      / sum(rate(ims_requests_total[5m])) > 0.05
    for: 2m
    labels:
      severity: warning
    annotations:
      summary: "错误率超过 5%"

  # 响应时间过长告警
  - alert: HighLatency
    expr: histogram_quantile(0.95, sum(rate(ims_request_duration_seconds_bucket[5m]))) > 2
    for: 3m
    labels:
      severity: warning
    annotations:
      summary: "P95 响应时间超过 2 秒"

  # CPU 使用率过高告警
  - alert: HighCPU
    expr: 100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "CPU 使用率超过 80%"

告警通知渠道

告警需要通过多种渠道及时通知相关人员：

1. 即时通讯：企业微信、钉钉、飞书等机器人推送

2. 短信电话：严重告警需要电话通知

3. 邮件通知：常规告警发送邮件

4. 告警平台：PagerDuty、Alertmanager 等专业平台

// 告警通知配置（Alertmanager）
route:
  group_by: ['alertname', 'severity']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  receiver: 'default'
  routes:
  - match:
      severity: critical
    receiver: 'critical-channel'
    continue: true

receivers:
- name: 'default'
  email_configs:
  - to: 'ops-team@company.com'
    send_resolved: true

- name: 'critical-channel'
  webhook_configs:
  - url: 'http://dingtalk-webhook/alert'
  # 严重告警同时电话通知
  pagerduty_configs:
  - service_key: 'YOUR_SERVICE_KEY'

告警收敛与聚合

大量告警会导致告警疲劳，需要进行收敛处理：

1. 告警分组：将相关告警聚合在一起发送

2. 抑制规则：当核心服务故障时，抑制关联的衍生告警

3. 静默规则：维护窗口期内静默某些告警

4. 告警升级：告警未响应时自动升级通知级别

监控可视化

推荐使用 Grafana 构建监控仪表盘：

1. 系统总览：显示整体健康状态和关键指标

2. 服务详情：各微服务的独立监控面板

3. 数据库监控：连接池、查询性能、慢查询分析

4. 业务大盘：实时业务数据和趋势分析