监控系统的历史悠久，是一个很成熟的方向，而Prometheus作为新生代的开源监控系统，慢慢成为了云原生体系的事实标准，也证明了其设计很受欢迎。本文主要分享在prometheus实践中遇到的一些问题和思考

几点原则

• 监控是基础设施，目的是为了解决问题，不要只朝着大而全去做，尤其是不必要的指标采集，浪费人力和存储资源（To B商业产品例外）

• 需要处理的告警才发出来，发出来的告警必须得到处理

• 简单的架构就是最好的架构，业务系统都挂了，监控也不能挂，Google SRE里面也说避免使用magic系统，例如机器学习报警阈值、自动修复之类。这一点见仁见智吧，感觉很多公司都在搞智能AI运维

prometheus 的局限

• prometheus是基于metric的监控，不适用于日志（logs）、事件(event)、调用链(tracing)

• prometheus默认是pull模型，合理规划你的网络，尽量不用pushgateway转发

• 对于集群化、水平扩展，官方和社区都没有银弹，合理选择 federate、cortex、thanos

• 监控系统一般 可用性>一致性，这个后面说 thanos 的时候会提到

合理选择黄金指标

我们应该关注哪些指标？Google在“SRE Handbook”中提出了“四个黄金信号”：延迟、流量、错误数、饱和度。实际操作中可以使用USE或RED 方法作为指导，USE用于资源，RED用于服务

• USE 方法：Utilization、Saturation、Errors

• RED 方法：Rate、Errors、Duration

对USE和RED的阐述可以参考 容器监控实践—K8S常用指标分析 这篇文章

采集组件all in one

prometheus 体系中 exporter 都是独立的，每个组件各司其职，如机器资源用 node-exporter，gpu 有NVIDIA exporter等等，但是 exporter 越多，运维压力越大，尤其是对 agent做资源控制、版本升级。我们尝试对一些exporter进行组合，方案有二：

1. 通过主进程拉起n个exporter 进程，仍然可以跟着社区版本更新

2. 用telegraf来支持各种类型的 input，n 合 1

另外，node-exporter 不支持进程监控，可以加一个process-exporter，也可以用上边提到的telegraf。

k8s 1.16中cadvisor的指标兼容问题

在 k8s 1.16版本，cadvisor的指标去掉了pod_name 和 container_name的label，替换为了pod 和 container。如果你之前用这两个 label 做查询或者 grafana 绘图，得更改下 sql 了。因为我们一直支持多个 k8s 版本，就通过 relabel配置继续保留了原来的**_name

metric_relabel_configs:
- source_labels: [container]
  regex: (.+)
  target_label: container_name
  replacement: $1
  action: replace
- source_labels: [pod]
  regex: (.+)
  target_label: pod_name
  replacement: $1
  action: replace

kubernetes_sd_configs:
- api_server: https://xx:6443
  role: node
  bearer_token_file: token/xx.token
  tls_config:
    insecure_skip_verify: true
relabel_configs:
- separator: ;
  regex: __meta_kubernetes_node_label_(.+)
  replacement: $1
  action: labelmap
- separator: ;
  regex: (.*)
  target_label: __address__
  replacement: xx:6443
  action: replace
- source_labels: [__meta_kubernetes_node_name]
  separator: ;
  regex: (.+)
  target_label: __metrics_path__
  replacement: /api/v1/nodes/${1}/proxy/metrics/cadvisor
  action: replace

container_accelerator_duty_cycle
container_accelerator_memory_total_bytes
container_accelerator_memory_used_bytes