為什么需要使用JSON格式記錄日志？
原文鏈接：https://blog.opstree.com/2019/12/31/log-everything-as-json/
日志和監(jiān)控就像 TonyStark 和他的 IronMan 西裝一樣，兩者需要一起使用才能發(fā)揮最大的威力，因為它們可以很好互補。
日志一直是應(yīng)用程序和基礎(chǔ)框架性能和故障診斷的重要手段，但是現(xiàn)在我們已經(jīng)意識到日志不僅可以用于故障診斷，還可以用于大數(shù)據(jù)分析以及業(yè)務(wù)的一些可視化和性能分析等等。
所以，記錄應(yīng)用程序日志是非常非常重要的。
為什么使用 JSON 格式
為了了解 JSON 日志記錄的優(yōu)越性，我們先來了解下 Anuj（系統(tǒng)工程師）和 Kartik（業(yè)務(wù)分析師）之間的一次對話。
但是幾天后 Kartik 發(fā)現(xiàn) Web 接口掛掉了，Anuj 摸了摸頭，看了看日志，發(fā)現(xiàn)是開發(fā)人員在日志中添加了一個額外的字段，這破壞了他自定義的日志解析器。
我相信很多童鞋都可能遇到過類似的情況吧？
在這種情況下，如果開發(fā)人員將應(yīng)用程序設(shè)計為 JSON 格式的日志，那么 Anuj 定義的解析器就非常簡單了，然后基于 JSON 的 key 搜索字段就可以了，而不需要關(guān)心是否在日志中修改了新的字段。
使用 JSON 格式的日志最大的好處就是它本身就是結(jié)構(gòu)化的，這樣我們?nèi)シ治鰬?yīng)用日志就非常方便了，不僅可以方便讀取日志，還可以通過每個字段進行日志查詢，而且?guī)缀跛芯幊陶Z言都可以很輕松的解析它。
JSON 日志魔法
最近我們創(chuàng)建了一個 Golang 示例應(yīng)用程序，來獲取代碼構(gòu)建、測試和部署階段的一些相關(guān)信息，我們就采用了使用 JSON 格式的日志進行記錄。
采集的日志樣本如下所示：
在使用 ELK 進行日志收集的時候，我們只需要在 Logstash 中添加如下所示的日志解析即可：
filter {
json {
source => "message"
}
}
我們不需要任何額外的解析步驟，即使在日志中添加了新的字段。采集到的日志如下圖所示：
我們可以看到在 Kibana 中已經(jīng)將 JSON 日志的 key 自動解析為了 ES 的屬性，比如 employeename、employeecity 等字段，我們完全不需要在 Logstash 或者其他工具中去添加一些非常復(fù)雜的解析，現(xiàn)在我們使用這些數(shù)據(jù)去創(chuàng)建一些 Dashboard 進行數(shù)據(jù)分析就非常容易了。
結(jié)論
從文本日志遷移到 JSON 日志格式并不會花費太長時間，大部分編程語言都有對應(yīng)的 JSON 日志庫，我非常確信 JSON 日志格式會為你當(dāng)前的日志收集系統(tǒng)提供更大的靈活性。
下面是一些支持 JSON 日志格式的流行的庫：
Golang - https://github.com/sirupsen/logrus
Python - https://github.com/thangbn/json-logging-python
Java - https://howtodoinjava.com/log4j2/log4j-2-json-configuration-example/
PHP - https://github.com/nekonomokochan/php-json-logger
希望現(xiàn)在大家對 JSON 格式日志有一個更好的了解。
往期推薦
