點擊上方“碼農(nóng)突圍”，馬上關注
這里是碼農(nóng)充電第一站，回復“666”，獲取一份專屬大禮包
真愛，請設置“星標”或點個“在看

一、Prometheus 概述

• A multi-dimensional data model, so that data can be sliced and diced at will, along dimensions like instance, service, endpoint, and method.
• Operational simplicity, so that you can spin up a monitoring server where and when you want, even on your local workstation, without setting up a distributed storage backend or reconfiguring the world.
• Scalable data collection and decentralized architecture, so that you can reliably monitor the many instances of your services, and independent teams can set up independent monitoring servers.
• Finally, a powerful query language that leverages the data model for meaningful alerting (including easy silencing) and graphing (for dashboards and for ad-hoc exploration).

• 多維度數(shù)據(jù)模型
• 方便的部署和維護
• 靈活的數(shù)據(jù)采集
• 強大的查詢語言

二、安裝 Prometheus server

2.1 開箱即用

$?wget?https://github.com/prometheus/prometheus/releases/download/v2.4.3/prometheus-2.4.3.linux-amd64.tar.gz??
$?tar?xvfz?prometheus-2.4.3.linux-amd64.tar.gz??

$?cd?prometheus-2.4.3.linux-amd64??
$?./prometheus?--version??
prometheus,?version?2.4.3?(branch:?HEAD,?revision:?167a4b4e73a8eca8df648d2d2043e21bdb9a7449)??
??build?user:???????root@1e42b46043e9??
??build?date:???????20181004-08:42:02??
??go?version:???????go1.11.1??

$?./prometheus?--config.file=prometheus.yml??

2.2 使用 Docker 鏡像

$?sudo?docker?run?-d?-p?9090:9090?prom/prometheus??

$?sudo?docker?run?-d?-p?9090:9090?\??
????-v?~/docker/prometheus/:/etc/prometheus/?\??
????prom/prometheus??

$?sudo?docker?inspect?0c??
[...]??
????????"Id":?"0c4c2d0eed938395bcecf1e8bb4b6b87091fc4e6385ce5b404b6bb7419010f46",??
????????"Created":?"2018-10-15T22:27:34.56050369Z",??
????????"Path":?"/bin/prometheus",??
????????"Args":?[??
????????????"--config.file=/etc/prometheus/prometheus.yml",??
????????????"--storage.tsdb.path=/prometheus",??
????????????"--web.console.libraries=/usr/share/prometheus/console_libraries",??
????????????"--web.console.templates=/usr/share/prometheus/consoles"??
????????],??
???
[...]??

2.3 配置 Prometheus

/etc/prometheus?$?cat?prometheus.yml???
#?my?global?config??
global:??
??scrape_interval:?????15s?#?Set?the?scrape?interval?to?every?15?seconds.?Default?is?every?1?minute.??
??evaluation_interval:?15s?#?Evaluate?rules?every?15?seconds.?The?default?is?every?1?minute.??
??#?scrape_timeout?is?set?to?the?global?default?(10s).??
???
#?Alertmanager?configuration??
alerting:??
??alertmanagers:??
??-?static_configs:??
????-?targets:??
??????#?-?alertmanager:9093??
???
#?Load?rules?once?and?periodically?evaluate?them?according?to?the?global?'evaluation_interval'.??
rule_files:??
??#?-?"first_rules.yml"??
??#?-?"second_rules.yml"??
???
#?A?scrape?configuration?containing?exactly?one?endpoint?to?scrape:??
#?Here?it's?Prometheus?itself.??
scrape_configs:??
??#?The?job?name?is?added?as?a?label?`job=`?to?any?timeseries?scraped?from?this?config.??
??-?job_name:?'prometheus'??
???
????#?metrics_path?defaults?to?'/metrics'??
????#?scheme?defaults?to?'http'.??
???
????static_configs:??
????-?targets:?['localhost:9090']??

• global 塊：Prometheus 的全局配置，比如?scrape_interval?表示 Prometheus 多久抓取一次數(shù)據(jù)，evaluation_interval?表示多久檢測一次告警規(guī)則；
• alerting 塊：關于 Alertmanager 的配置，這個我們后面再看；
• rule_files 塊：告警規(guī)則，這個我們后面再看；

• scrape_config 塊：這里定義了 Prometheus 要抓取的目標，我們可以看到默認已經(jīng)配置了一個名稱為?prometheus?的 job，這是因為 Prometheus 在啟動的時候也會通過 HTTP 接口暴露自身的指標數(shù)據(jù)，這就相當于 Prometheus 自己監(jiān)控自己，雖然這在真正使用 Prometheus 時沒啥用處，但是我們可以通過這個例子來學習如何使用 Prometheus；可以訪問?http://localhost:9090/metrics?查看 Prometheus 暴露了哪些指標；

三、學習 PromQL

promhttp_metric_handler_requests_total{code="200",instance="192.168.0.107:9090",job="prometheus"}?106

• Counter
• Gauge
• Histogram
• Summary

3.2 PromQL 入門

#?表示?Prometheus?能否抓取?target?的指標，用于?target?的健康檢查??
up??

up{instance="192.168.0.107:9090",job="prometheus"}????1??
up{instance="192.168.0.108:9090",job="prometheus"}????1??
up{instance="192.168.0.107:9100",job="server"}????1??
up{instance="192.168.0.108:9104",job="mysql"}????0??

up{job="prometheus"}??

up{job!="prometheus"}??
up{job=~"server|mysql"}??
up{job=~"192\.168\.0\.107.+"}??

http_requests_total[5m]??

#?計算的是每秒的平均值，適用于變化很慢的?counter??
#?per-second?average?rate?of?increase,?for?slow-moving?counters??
rate(http_requests_total[5m])??
???
#?計算的是每秒瞬時增加速率，適用于變化很快的?counter??
#?per-second?instant?rate?of?increase,?for?volatile?and?fast-moving?counters??
irate(http_requests_total[5m])??

3.3 HTTP API

• GET /api/v1/query
• GET /api/v1/query_range
• GET /api/v1/series
• GET /api/v1/label//values
• GET /api/v1/targets
• GET /api/v1/rules
• GET /api/v1/alerts
• GET /api/v1/targets/metadata
• GET /api/v1/alertmanagers
• GET /api/v1/status/config
• GET /api/v1/status/flags

• POST /api/v1/admin/tsdb/snapshot
• POST /api/v1/admin/tsdb/delete_series
• POST /api/v1/admin/tsdb/clean_tombstones

四、安裝 Grafana

$?docker?run?-d?-p?3000:3000?grafana/grafana??

• Name: prometheus
• Type: Prometheus
• URL: http://localhost:9090
• Access: Browser

五、使用 Exporter 收集指標

5.1 收集服務器指標

$?wget?https://github.com/prometheus/node_exporter/releases/download/v0.16.0/node_exporter-0.16.0.linux-amd64.tar.gz??
$?tar?xvfz?node_exporter-0.16.0.linux-amd64.tar.gz??
$?cd?node_exporter-0.16.0.linux-amd64??
$?./node_exporter??

$?curl?http://localhost:9100/metrics??

scrape_configs:??
??-?job_name:?'prometheus'??
????static_configs:??
??????-?targets:?['192.168.0.107:9090']??
??-?job_name:?'server'??
????static_configs:??
??????-?targets:?['192.168.0.107:9100']??

$?killall?-HUP?prometheus??

注意事項

docker?run?-d?\??
??--net="host"?\??
??--pid="host"?\??
??-v?"/:/host:ro,rslave"?\??
??quay.io/prometheus/node-exporter?\??
??--path.rootfs?/host??

5.2 收集 MySQL 指標

$?wget?https://github.com/prometheus/mysqld_exporter/releases/download/v0.11.0/mysqld_exporter-0.11.0.linux-amd64.tar.gz??
$?tar?xvfz?mysqld_exporter-0.11.0.linux-amd64.tar.gz??
$?cd?mysqld_exporter-0.11.0.linux-amd64/??

$?export?DATA_SOURCE_NAME='root:123456@(192.168.0.107:3306)/'??
$?./mysqld_exporter??

$?./mysqld_exporter?--config.my-cnf=".my.cnf"??

$?cat?.my.cnf??
[client]??
host=localhost??
port=3306??
user=root??
password=123456??

注意事項

CREATE?USER?'exporter'@'localhost'?IDENTIFIED?BY?'password'?WITH?MAX_USER_CONNECTIONS?3;??
GRANT?PROCESS,?REPLICATION?CLIENT,?SELECT?ON?*.*?TO?'exporter'@'localhost';??

5.3 收集 Nginx 指標

5.4 收集 JMX 指標

$?wget?https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar??

$?java?-javaagent:jmx_prometheus_javaagent-0.3.1.jar=9404:config.yml?-jar?spring-boot-sample-1.0-SNAPSHOT.jar??

然后檢查下指標數(shù)據(jù)是否正確獲?。?/section>

$?curl?http://localhost:9404/metrics??

六、告警和通知

至此，我們能收集大量的指標數(shù)據(jù)，也能通過強大而美觀的面板展示出來。不過作為一個監(jiān)控系統(tǒng)，最重要的功能，還是應該能及時發(fā)現(xiàn)系統(tǒng)問題，并及時通知給系統(tǒng)負責人，這就是 Alerting（告警）。

Prometheus 的告警功能被分成兩部分：一個是告警規(guī)則的配置和檢測，并將告警發(fā)送給 Alertmanager，另一個是 Alertmanager，它負責管理這些告警，去除重復數(shù)據(jù)，分組，并路由到對應的接收方式，發(fā)出報警。常見的接收方式有：Email、PagerDuty、HipChat、Slack、OpsGenie、WebHook 等。

6.1 配置告警規(guī)則

我們在上面介紹 Prometheus 的配置文件時了解到，它的默認配置文件 prometheus.yml 有四大塊：global、alerting、rule_files、scrape_config，其中?rule_files?塊就是告警規(guī)則的配置項，alerting 塊用于配置 Alertmanager，這個我們下一節(jié)再看?，F(xiàn)在，先讓我們在?rule_files?塊中添加一個告警規(guī)則文件：

rule_files:??
??-?"alert.rules"??

然后參考 官方文檔，創(chuàng)建一個告警規(guī)則文件?alert.rules：

groups:??
-?name:?example??
??rules:??
???
??#?Alert?for?any?instance?that?is?unreachable?for?>5?minutes.??
??-?alert:?InstanceDown??
????expr:?up?==?0??
????for:?5m??
????labels:??
??????severity:?page??
????annotations:??
??????summary:?"Instance?{{?$labels.instance?}}?down"??
??????description:?"{{?$labels.instance?}}?of?job?{{?$labels.job?}}?has?been?down?for?more?than?5?minutes."??
???
??#?Alert?for?any?instance?that?has?a?median?request?latency?>1s.??
??-?alert:?APIHighRequestLatency??
????expr:?api_http_request_latencies_second{quantile="0.5"}?>?1??
????for:?10m??
????annotations:??
??????summary:?"High?request?latency?on?{{?$labels.instance?}}"??
??????description:?"{{?$labels.instance?}}?has?a?median?request?latency?above?1s?(current?value:?{{?$value?}}s)"??

這個規(guī)則文件里，包含了兩條告警規(guī)則：InstanceDown?和?APIHighRequestLatency。顧名思義，InstanceDown 表示當實例宕機時（up === 0）觸發(fā)告警，APIHighRequestLatency 表示有一半的 API 請求延遲大于 1s 時（api_http_request_latencies_second{quantile="0.5"} > 1）觸發(fā)告警。

配置好后，需要重啟下 Prometheus server，然后訪問?http://localhost:9090/rules?可以看到剛剛配置的規(guī)則：

訪問?http://localhost:9090/alerts?可以看到根據(jù)配置的規(guī)則生成的告警：

這里我們將一個實例停掉，可以看到有一條 alert 的狀態(tài)是?PENDING，這表示已經(jīng)觸發(fā)了告警規(guī)則，但還沒有達到告警條件。這是因為這里配置的?for?參數(shù)是 5m，也就是 5 分鐘后才會觸發(fā)告警，我們等 5 分鐘，可以看到這條 alert 的狀態(tài)變成了?FIRING。

6.2 使用 Alertmanager 發(fā)送告警通知

雖然 Prometheus 的?/alerts?頁面可以看到所有的告警，但是還差最后一步：觸發(fā)告警時自動發(fā)送通知。這是由 Alertmanager 來完成的，我們首先 下載并安裝 Alertmanager，和其他 Prometheus 的組件一樣，Alertmanager 也是開箱即用的：

$?wget?https://github.com/prometheus/alertmanager/releases/download/v0.15.2/alertmanager-0.15.2.linux-amd64.tar.gz??
$?tar?xvfz?alertmanager-0.15.2.linux-amd64.tar.gz??
$?cd?alertmanager-0.15.2.linux-amd64??
$?./alertmanager??

Alertmanager 啟動后默認可以通過?http://localhost:9093/?來訪問，但是現(xiàn)在還看不到告警，因為我們還沒有把 Alertmanager 配置到 Prometheus 中，我們回到 Prometheus 的配置文件?prometheus.yml，添加下面幾行：

alerting:??
??alertmanagers:??
??-?scheme:?http??
????static_configs:??
????-?targets:??
??????-?"192.168.0.107:9093"??

這個配置告訴 Prometheus，當發(fā)生告警時，將告警信息發(fā)送到 Alertmanager，Alertmanager 的地址為?http://192.168.0.107:9093。也可以使用命名行的方式指定 Alertmanager：

$?./prometheus?-alertmanager.url=http://192.168.0.107:9093??

這個時候再訪問 Alertmanager，可以看到 Alertmanager 已經(jīng)接收到告警了：

下面的問題就是如何讓 Alertmanager 將告警信息發(fā)送給我們了，我們打開默認的配置文件?alertmanager.ym：

global:??
??resolve_timeout:?5m??
???
route:??
??group_by:?['alertname']??
??group_wait:?10s??
??group_interval:?10s??
??repeat_interval:?1h??
??receiver:?'web.hook'??
receivers:??
-?name:?'web.hook'??
??webhook_configs:??
??-?url:?'http://127.0.0.1:5001/'??
inhibit_rules:??
??-?source_match:??
??????severity:?'critical'??
????target_match:??
??????severity:?'warning'??
????equal:?['alertname',?'dev',?'instance']??

參考 官方的配置手冊 了解各個配置項的功能，其中 global 塊表示一些全局配置；route 塊表示通知路由，可以根據(jù)不同的標簽將告警通知發(fā)送給不同的 receiver，這里沒有配置 routes 項，表示所有的告警都發(fā)送給下面定義的 web.hook 這個 receiver；如果要配置多個路由，可以參考 這個例子：

routes:??
-?receiver:?'database-pager'??
??group_wait:?10s??
??match_re:??
????service:?mysql|cassandra??
???
-?receiver:?'frontend-pager'??
??group_by:?[product,?environment]??
??match:??
????team:?frontend??

緊接著，receivers 塊表示告警通知的接收方式，每個 receiver 包含一個 name 和一個 xxx_configs，不同的配置代表了不同的接收方式，Alertmanager 內(nèi)置了下面這些接收方式：

• email_config
• hipchat_config
• pagerduty_config
• pushover_config
• slack_config
• opsgenie_config
• victorops_config
• wechat_configs
• webhook_config

雖然接收方式很豐富，但是在國內(nèi)，其中大多數(shù)接收方式都很少使用。最常用到的，莫屬?email_config?和?webhook_config，另外?wechat_configs?可以支持使用微信來告警，也是相當符合國情的了。

其實告警的通知方式是很難做到面面俱到的，因為消息軟件各種各樣，每個國家還可能不同，不可能完全覆蓋到，所以 Alertmanager 已經(jīng)決定不再添加新的 receiver 了，而是推薦使用 webhook 來集成自定義的接收方式?？梢詤⒖?這些集成的例子，譬如 將釘釘接入 Prometheus AlertManager WebHook。

七、學習更多

到這里，我們已經(jīng)學習了 Prometheus 的大多數(shù)功能，結合 Prometheus + Grafana + Alertmanager 完全可以搭建一套非常完整的監(jiān)控系統(tǒng)。不過在真正使用時，我們會發(fā)現(xiàn)更多的問題。

7.1 服務發(fā)現(xiàn)

由于 Prometheus 是通過 Pull 的方式主動獲取監(jiān)控數(shù)據(jù)，所以需要手工指定監(jiān)控節(jié)點的列表，當監(jiān)控的節(jié)點增多之后，每次增加節(jié)點都需要更改配置文件，非常麻煩，這個時候就需要通過服務發(fā)現(xiàn)（service discovery，SD）機制去解決。

Prometheus 支持多種服務發(fā)現(xiàn)機制，可以自動獲取要收集的 targets，可以參考 這里，包含的服務發(fā)現(xiàn)機制包括：azure、consul、dns、ec2、openstack、file、gce、kubernetes、marathon、triton、zookeeper（nerve、serverset），配置方法可以參考手冊的 Configuration 頁面?？梢哉f SD 機制是非常豐富的，但目前由于開發(fā)資源有限，已經(jīng)不再開發(fā)新的 SD 機制，只對基于文件的 SD 機制進行維護。

關于服務發(fā)現(xiàn)網(wǎng)上有很多教程，譬如 Prometheus 官方博客中這篇文章 Advanced Service Discovery in Prometheus 0.14.0 對此有一個比較系統(tǒng)的介紹，全面的講解了 relabeling 配置，以及如何使用 DNS-SRV、Consul 和文件來做服務發(fā)現(xiàn)。

另外，官網(wǎng)還提供了 一個基于文件的服務發(fā)現(xiàn)的入門例子，Julius Volz 寫的 Prometheus workshop 入門教程中也 使用了 DNS-SRV 來當服務發(fā)現(xiàn)。另外，微服務系列面試題和答案全部整理好了，微信搜索互聯(lián)網(wǎng)架構師，在后臺發(fā)送：2T，可以在線閱讀。

7.2 告警配置管理

無論是 Prometheus 的配置還是 Alertmanager 的配置，都沒有提供 API 供我們動態(tài)的修改。一個很常見的場景是，我們需要基于 Prometheus 做一套可自定義規(guī)則的告警系統(tǒng)，用戶可根據(jù)自己的需要在頁面上創(chuàng)建修改或刪除告警規(guī)則，或者是修改告警通知方式和聯(lián)系人，正如在 Prometheus Google Groups 里的 這個用戶的問題：How to dynamically add alerts rules in rules.conf and prometheus yml file via API or something？

不過遺憾的是，Simon Pasquier 在下面說到，目前并沒有這樣的 API，而且以后也沒有這樣的計劃來開發(fā)這樣的 API，因為這樣的功能更應該交給譬如 Puppet、Chef、Ansible、Salt 這樣的配置管理系統(tǒng)。

7.3 使用 Pushgateway

Pushgateway 主要用于收集一些短期的 jobs，由于這類 jobs 存在時間較短，可能在 Prometheus 來 Pull 之前就消失了。官方對 什么時候該使用 Pushgateway 有一個很好的說明。

總結

這篇博客參考了網(wǎng)絡上大量關于 Prometheus 的中文資料，有文檔，也有博客，比如 1046102779 的 Prometheus 非官方中文手冊，宋佳洋 的電子書《Prometheus 實戰(zhàn)》，在這里對這些原作者表示敬意。在 Prometheus 官方文檔的 Media 頁面，也提供了很多學習資源。

關于 Prometheus，還有非常重要的一部分內(nèi)容這篇博客沒有涉及到，正如博客一開頭所講的，Prometheus 是繼 Kubernetes 之后第二個加入 CNCF 的項目，Prometheus 和 Docker、Kubernetes 的結合非常緊密，使用 Prometheus 作為 Docker 和 Kubernetes 的監(jiān)控系統(tǒng)也越來越主流。

關于 Docker 的監(jiān)控，可以參考官網(wǎng)的一篇指南：Monitoring Docker container metrics using cAdvisor，它介紹了如何使用 cAdvisor 來對容器進行監(jiān)控；不過 Docker 現(xiàn)在也開始原生支持 Prometheus 的監(jiān)控了，參考 Docker 的官方文檔 Collect Docker metrics with Prometheus；關于 Kubernetes 的監(jiān)控，Kubernetes 中文社區(qū) 里有不少關于 Promehtheus 的資源，另外，《如何以優(yōu)雅的姿勢監(jiān)控 Kubernetes》這本電子書也對 Kubernetes 的監(jiān)控有一個比較全面的介紹。

最近兩年 Prometheus 的發(fā)展非常迅速，社區(qū)也非?；钴S，國內(nèi)研究 Prometheus 的人也越來越多。隨著微服務，DevOps，云計算，云原生等概念的普及，越來越多的企業(yè)開始使用 Docker 和 Kubernetes 來構建自己的系統(tǒng)和應用，像 Nagios 和 Cacti 這樣的老牌監(jiān)控系統(tǒng)會變得越來越不適用，相信 Prometheus 最終會發(fā)展成一個最適合云環(huán)境的監(jiān)控系統(tǒng)。

附錄：什么是時序數(shù)據(jù)庫？

上文提到 Prometheus 是一款基于時序數(shù)據(jù)庫的監(jiān)控系統(tǒng)，時序數(shù)據(jù)庫常簡寫為 TSDB（Time Series Database）。很多流行的監(jiān)控系統(tǒng)都在使用時序數(shù)據(jù)庫來保存數(shù)據(jù)，這是因為時序數(shù)據(jù)庫的特點和監(jiān)控系統(tǒng)不謀而合。

• 增：需要頻繁的進行寫操作，而且是按時間排序順序寫入
• 刪：不需要隨機刪除，一般情況下會直接刪除一個時間區(qū)塊的所有數(shù)據(jù)
• 改：不需要對寫入的數(shù)據(jù)進行更新
• 查：需要支持高并發(fā)的讀操作，讀操作是按時間順序升序或降序讀，數(shù)據(jù)量非常大，緩存不起作用

DB-Engines 上有一個關于時序數(shù)據(jù)庫的排名，下面是排名靠前的幾個（2018年10月）：

• InfluxDB：https://influxdata.com/
• Kdb+：http://kx.com/
• Graphite：http://graphiteapp.org/
• RRDtool：http://oss.oetiker.ch/rrdtool/
• OpenTSDB：http://opentsdb.net/
• Prometheus：https://prometheus.io/
• Druid：http://druid.io/

另外，liubin 在他的博客上寫了一個關于時序數(shù)據(jù)庫的系列文章：時序列數(shù)據(jù)庫武斗大會，推薦。

參考

https://prometheus.io/docs/introduction/overview/

https://love2.io/@1046102779/doc/prometheus

https://promcon.io/2016-berlin/talks/the-history-of-prometheus-at-soundcloud/

https://developers.soundcloud.com/blog/prometheus-monitoring-at-soundcloud

https://www.nextplatform.com/2016/05/09/google-friends-add-prometheus-kubernetes-platform/

http://dockone.io/article/2991

http://blog.daocloud.io/cncf-3/

http://liubin.org/blog/2016/02/18/tsdb-intro/

http://liubin.org/blog/2016/02/25/tsdb-list-part-1/

https://www.hi-linux.com/posts/25047.html

https://www.opsdev.cn/post/Prometheus-first-exploration.html

https://blog.xizhibei.me/2017/08/06/monitoring-with-prometheus/

http://www.ywnds.com/?p=9656

http://blog.51cto.com/youerning/2050543

https://blog.csdn.net/aixiaoyang168/article/details/81354059

https://segmentfault.com/a/1190000007040144

https://blog.frognew.com/2017/02/use-prometheus-on-centos7.html

https://www.ibm.com/developerworks/cn/cloud/library/cl-lo-prometheus-getting-started-and-practice/index.html

https://zhuanlan.zhihu.com/p/24811652

https://segmentfault.com/a/1190000015876636

https://segmentfault.com/a/1190000015922077

https://www.cnblogs.com/netonline/p/8289411.html

https://www.digitalocean.com/community/tutorials/how-to-install-prometheus-using-docker-on-ubuntu-14-04

-?END -
最近熱文
? ?院士拿布袋領獎歸來，朋友圈刷屏了
? ?32歲清華女教授獲獎百萬走紅后回應：人生第一次因顏值受到關注
? ?杭州程序員從互聯(lián)網(wǎng)跳央企，曬一天工作和收入，網(wǎng)友：待一年就廢
? ?字節(jié)跳動P0級事故：實習生刪除GB以下所有模型，差點沒上頭條......