MySQL 最樸素的監(jiān)控方式

來源 | OSCHINA 社區(qū) 作者 | 京東云開發(fā)者 原文鏈接：https://my.oschina.net/u/4090830/blog/5564849

對于當前數(shù)據(jù)庫的監(jiān)控方式有很多，分為數(shù)據(jù)庫自帶、商用、開源三大類，每一種都有各自的特色；而對于 mysql 數(shù)據(jù)庫由于其有很高的社區(qū)活躍度，監(jiān)控方式更是多種多樣，不管哪種監(jiān)控方式最核心的就是監(jiān)控數(shù)據(jù)，獲取得到全面的監(jiān)控數(shù)據(jù)后就是靈活的展示部分。那我們今天就介紹一下完全采用 mysql 自有方式采集獲取監(jiān)控數(shù)據(jù)，在單體下達到最快速、方便、損耗最小。

本次文章完全使用 mysql 自帶的 show 命令實現(xiàn)獲取，從 connects、buffercache、lock、SQL、statement、Database throughputs、serverconfig7 大方面全面獲取監(jiān)控數(shù)據(jù)。

1 連接數(shù)（Connects）

• 最大使用連接數(shù)：show status like ‘Max_used_connections’
• 當前打開的連接數(shù)：show status like ‘Threads_connected’

2 緩存（bufferCache）

• 未從緩沖池讀取的次數(shù)：show status like ‘Innodb_buffer_pool_reads’
• 從緩沖池讀取的次數(shù)：show status like ‘Innodb_buffer_pool_read_requests’
• 緩沖池的總頁數(shù)：show status like ‘Innodb_buffer_pool_pages_total’
• 緩沖池空閑的頁數(shù)：show status like ‘Innodb_buffer_pool_pages_free’
• 緩存命中率計算：（1-Innodb_buffer_pool_reads/Innodb_buffer_pool_read_requests）*100%
• 緩存池使用率為：((Innodb_buffer_pool_pages_total-Innodb_buffer_pool_pages_free）/Innodb_buffer_pool_pages_total）*100%

3 鎖（lock）

• 鎖等待個數(shù)：show status like ‘Innodb_row_lock_waits’
• 平均每次鎖等待時間：show status like ‘Innodb_row_lock_time_avg’
• 查看是否存在表鎖：show open TABLES where in_use>0；有數(shù)據(jù)代表存在鎖表，空為無表鎖

備注：鎖等待統(tǒng)計得數(shù)量為累加數(shù)據(jù)，每次獲取得時候可以跟之前得數(shù)據(jù)進行相減，得到當前統(tǒng)計得數(shù)據(jù)

4 SQL

• 查看 mysql 開關是否打開：show variables like ‘slow_query_log’，ON 為開啟狀態(tài)，如果為 OFF，set global slow_query_log=1 進行開啟
• 查看 mysql 閾值：show variables like ‘long_query_time’，根據(jù)頁面?zhèn)鬟f閾值參數(shù)，修改閾值 set global long_query_time=0.1
• 查看 mysql 慢 sql 目錄：show variables like ‘slow_query_log_file’
• 格式化慢 sql 日志：mysqldumpslow -s at -t 10 /export/data/mysql/log/slow.log 注：此語句通過 jdbc 執(zhí)行不了，屬于命令行執(zhí)行。意思為：顯示出耗時最長的 10 個 SQL 語句執(zhí)行信息，10 可以修改為 TOP 個數(shù)。顯示的信息為：執(zhí)行次數(shù)、平均執(zhí)行時間、SQL 語句

備注：當 mysqldumpslow 命令執(zhí)行失敗時，將慢日志同步到本地進行格式化處理。我們創(chuàng)建了一個高質(zhì)量的技術交流群，與優(yōu)秀的人在一起，自己也會優(yōu)秀起來，趕緊點擊加群，享受一起成長的快樂。

5 statement

• insert 數(shù)量：show status like ‘Com_insert’
• delete 數(shù)量：show status like ‘Com_delete’
• update 數(shù)量：show status like ‘Com_update’
• select 數(shù)量：show status like ‘Com_select’

6 吞吐（Database throughputs）

• 發(fā)送吞吐量：show status like ‘Bytes_sent’
• 接收吞吐量：show status like ‘Bytes_received’
• 總吞吐量：Bytes_sent+Bytes_received

7 數(shù)據(jù)庫參數(shù)（serverconfig）

show variables

8 慢 SQL

慢 SQL 指的是 MySQL 慢查詢，具體指運行時間超過 long_query_time 值的 SQL。

我們常聽 MySQL 中有二進制日志 binlog、中繼日志 relaylog、重做回滾日志 redolog、undolog 等。針對慢查詢，還有一種慢查詢?nèi)罩?slowlog，用來記錄在 MySQL 中響應時間超過閥值的語句。慢 SQL 對實際生產(chǎn)業(yè)務影響是致命的，所以測試人員在性能測試過程中，對數(shù)據(jù)庫 SQL 語句執(zhí)行情況實施監(jiān)控，給開發(fā)提供準確的性能優(yōu)化意見顯得尤為重要。那怎么使用 Mysql 數(shù)據(jù)庫提供的慢查詢?nèi)罩緛肀O(jiān)控 SQL 語句執(zhí)行情況，找到消耗較高的 SQL 語句，以下詳細說明一下慢查詢?nèi)罩镜氖褂貌襟E：

• 確保打開慢 SQL 開關 slow_query_log

• 設置慢 SQL 域值 long_query_time 這個 long_query_time 是用來定義慢于多少秒的才算 “慢查詢”，注意單位是秒，我通過執(zhí)行 sql 指令 set long_query_time=1 來設置了 long_query_time 的值為 1, 也就是執(zhí)行時間超過 1 秒的都算慢查詢，如下：

• 查看慢 SQL 日志路徑

• 通過慢 sql 分析工具 mysqldumpslow 格式化分析慢 SQL 日志

mysqldumpslow 慢查詢分析工具，是 mysql 安裝后自帶的，可以通過./mysqldumpslow —help 查看使用參數(shù)說明

常見用法：

1. 取出使用最多的 10 條慢查詢

./mysqldumpslow -s c -t 10 /export/data/mysql/log/slow.log

1. 取出查詢時間最慢的 3 條慢查詢

./mysqldumpslow -s t -t 3 /export/data/mysql/log/slow.log

注意：使用 mysqldumpslow 的分析結果不會顯示具體完整的 sql 語句，只會顯示 sql 的組成結構；

假如: SELECT *FROM sms_send WHERE service_id=10 GROUP BY content LIMIT 0, 1000; mysqldumpslow 命令執(zhí)行后顯示：

Count: 2 Time=1.5s (3s) Lock=0.00s (0s) Rows=1000.0 (2000), vgos_dba[vgos_dba]@[10.130.229.196]SELECT* FROM sms_send WHERE service_id=N GROUP BY content LIMIT N, N

mysqldumpslow 的分析結果詳解：

• Count：表示該類型的語句執(zhí)行次數(shù)，上圖中表示 select 語句執(zhí)行了 2 次。
• Time：表示該類型的語句執(zhí)行的平均時間（總計時間）
• Lock：鎖時間 0s。
• Rows：單次返回的結果數(shù)是 1000 條記錄，2 次總共返回 2000 條記錄。

通過這個工具就可以查詢出來哪些 sql 語句是慢 SQL，從而反饋研發(fā)進行優(yōu)化，比如加索引，該應用的實現(xiàn)方式等。

常見慢 SQL 排查

1. 不使用子查詢

SELECT *FROM t1 WHERE id (SELECT id FROM t2 WHERE name=’hechunyang’);

子查詢在 MySQL5.5 版本里，內(nèi)部執(zhí)行計劃器是這樣執(zhí)行的：先查外表再匹配內(nèi)表，而不是先查內(nèi)表 t2，當外表的數(shù)據(jù)很大時，查詢速度會非常慢。

在 MariaDB10/MySQL5.6 版本里，采用 join 關聯(lián)方式對其進行了優(yōu)化，這條 SQL 會自動轉換為 SELECT t1.* FROM t1 JOIN t2 ON t1.id = t2.id;

但請注意的是：優(yōu)化只針對 SELECT 有效，對 UPDATE/DELETE 子 查詢無效， 生產(chǎn)環(huán)境盡量應避免使用子查詢。

1. 避免函數(shù)索引

SELECT *FROM t WHERE YEAR(d) >= 2016;

由于 MySQL 不像 Oracle 那樣?持函數(shù)索引，即使 d 字段有索引，也會直接全表掃描。

應改為 > SELECT* FROM t WHERE d >= ‘2016-01-01’;

1. 用 IN 來替換 OR 低效查詢

慢 SELECT *FROM t WHERE LOC_ID = 10 OR LOC_ID = 20 OR LOC_ID = 30;

高效查詢 > SELECT* FROM t WHERE LOC_IN IN (10,20,30);

1. LIKE 雙百分號無法使用到索引

SELECT *FROM t WHERE name LIKE ‘%de%’;

使用 SELECT* FROM t WHERE name LIKE ‘de%’;

1. 分組統(tǒng)計可以禁止排序

SELECT goods_id,count(*) FROM t GROUP BY goods_id;

默認情況下，MySQL 對所有 GROUP BY col1，col2… 的字段進?排序。如果查詢包括 GROUP BY，想要避免排序結果的消耗，則可以指定 ORDER BY NULL 禁止排序。

使用 SELECT goods_id,count (*) FROM t GROUP BY goods_id ORDER BY NULL;

1. 禁止不必要的 ORDER BY 排序

SELECT count(1) FROM user u LEFT JOIN user_info i ON u.id = i.user_id WHERE 1 = 1 ORDER BY u.create_time DESC;

使用 SELECT count (1) FROM user u LEFT JOIN user_info i ON u.id = i.user_id;

9 總結

• 任何東西不應過重關注其外表，要注重內(nèi)在的東西，往往絢麗的外表下會有對應的負擔和損耗。
• mysql 數(shù)據(jù)庫的監(jiān)控支持通過 SQL 方式從 performance_schema 庫中訪問對應的表數(shù)據(jù)，前提是初始化此庫并開啟監(jiān)控數(shù)據(jù)寫入。
• 對于監(jiān)控而言，不在于手段的多樣性，而需要明白監(jiān)控的本質(zhì)，以及需要的監(jiān)控項內(nèi)容，找到符合自身項目特色的監(jiān)控方式。
• 在選擇監(jiān)控工具對 mysql 監(jiān)控時，需要關注監(jiān)控工具本身對于數(shù)據(jù)庫服務器的消耗，不要影響到其自身的使用。

我們創(chuàng)建了一個高質(zhì)量的技術交流群，與優(yōu)秀的人在一起，自己也會優(yōu)秀起來，趕緊點擊加群，享受一起成長的快樂。另外，如果你最近想跳槽的話，年前我花了2周時間收集了一波大廠面經(jīng)，節(jié)后準備跳槽的可以點擊這里領取！

推薦閱讀

• JetBrains 如何看待自己的軟件在中國被頻繁破解?
  
• JavaScript已非常復雜，我們能做的最好事情就是讓它退役！
  
• Nginx + keepalived 實現(xiàn)高可用 + 防盜鏈 + 動靜分離
  

··································

你好，我是程序猿DD，10年開發(fā)老司機、阿里云MVP、騰訊云TVP、出過書創(chuàng)過業(yè)、國企4年互聯(lián)網(wǎng)6年 。 從普通開發(fā)到架構師、再到合伙人。一路過來，給我最深的感受就是一定要不斷學習并關注前沿。只要你能堅持下來，多思考、少抱怨、勤動手，就很容易實現(xiàn)彎道超車！ 所以，不要問我現(xiàn)在干什么是否來得及。如果你看好一個事情，一定是堅持了才能看到希望，而不是看到希望才去堅持。相信我，只要堅持下來，你一定比現(xiàn)在更好！ 如果你還沒什么方向，可以先關注我， 這里會經(jīng)常分享一些前沿資訊，幫你積累彎道超車的資本。

點擊 領取2022最新10000T學習資料