LOG 日志的使用姿勢

【對線面試官】系列?一周兩篇持續(xù)更新中！

日志對于程序員是不可或缺的，在我們的開發(fā)過程中，寫完代碼需要調(diào)試的話，日志是必須的，日志可以幫助我們定位我們的問題，從而更好地幫助我們解決bug。本期小羽就給大家詳細了解一下我們經(jīng)常使用到的四種日志類型，幫助大家提高開發(fā)效率。

好了，開始進入我們的正文。

Slf4j

slf4j 的全稱是 Simple Loging Facade For Java，它僅僅是一個為 Java 程序提供日志輸出的統(tǒng)一接口，并不是一個具體的日志實現(xiàn)方案，就比如 JDBC 一樣，只是一種規(guī)則而已。所以單獨的 slf4j 是不能工作的，必須搭配其他具體的日志實現(xiàn)方案，比如 apache 的 org.apache.log4j.Logger，jdk 自帶的 java.util.logging.Logger 等。

簡單語法

Logger.debug("Hello?"?+?name);

由于字符串拼接的問題，使用以上語句會先拼接字符串，再根據(jù)當(dāng)前級別是否低于 debug 決定是否輸出本條日志，即使不輸出日志，字符串拼接操作也會執(zhí)行，所以許多公司強制使用下面的語句，這樣只有當(dāng)前處于 DEBUG 級別時才會執(zhí)行字符串拼接：

if?(logger.isDebugEnabled())?{
??LOGGER.debug(“Hello?”?+?name);
}

它避免了字符串拼接問題，但有點太繁瑣了是不是？相對地，SLF4J提供下面這樣簡單的語法:

LOGGER.debug("Hello?{}",?name);

它的形式類似第一條示例，而又沒有字符串拼接問題，也不像第二條那樣繁瑣。

日志等級 Level

Slf4j 有四個級別的 log level 可供選擇，級別從上到下由低到高，優(yōu)先級高的將被打印出來。

• Debug：簡單來說，對程序調(diào)試有利的信息都可以debug輸出

• info：對用戶有用的信息

• warn：可能會導(dǎo)致錯誤的信息

• error：顧名思義，發(fā)生錯誤的地方

使用

因為是強制規(guī)約，所以直接使用 LoggerFactory 創(chuàng)建

import?org.slf4j.Logger;
import?org.slf4j.LoggerFactory;

public?class?Test?{
????private?static?final?Logger?logger?=?LoggerFactory.getLogger(Test.class);
????//?……
}

配置方式

Spring Boot 對 slf4j 支持的很好，內(nèi)部已經(jīng)集成了 slf4j，一般我們在使用的時候，會對slf4j 做一下配置。application.yml 文件是 Spring Boot 中唯一一個需要配置的文件，一開始創(chuàng)建工程的時候是application.properties 文件，個人比較細化用yml文件，因為 yml 文件的層次感特別好，看起來更直觀，但是 yml 文件對格式要求比較高，比如英文冒號后面必須要有個空格，否則項目估計無法啟動，而且也不報錯。用 properties 還是 yml 視個人習(xí)慣而定，都可以。

我們看一下 application.yml 文件中對日志的配置：

logging:
??config:?classpath:logback.xml
??level:
????com.bowen.dao:?trace

logging.config是用來指定項目啟動的時候，讀取哪個配置文件，這里指定的是日志配置文件是classpath:logback.xml文件，關(guān)于日志的相關(guān)配置信息，都放在logback.xml文件中了。logging.level 是用來指定具體的 mapper 中日志的輸出級別，上面的配置表示com.bowen.dao 包下的所有 mapper 日志輸出級別為 trace，會將操作數(shù)據(jù)庫的 sql 打印出來，開發(fā)時設(shè)置成 trace 方便定位問題，在生產(chǎn)環(huán)境上，將這個日志級別再設(shè)置成 error 級別即可。

常用的日志級別按照從高到低依次為：ERROR、WARN、INFO、DEBUG。

Log4j

Log4j 是 Apache 的一個開源項目，通過使用 Log4j，我們可以控制日志信息輸送的目的地是控制臺、文件、GUI 組件，甚至是套接口服務(wù)器、NT 的事件記錄器、UNIX Syslog 守護進程等；我們也可以控制每一條日志的輸出格式；通過定義每條日志信息的級別，我們能夠更加細致地控制日志的生成過程。

組成架構(gòu)

Log4j 由三個重要的組成構(gòu)成：日志記錄器(Loggers)，輸出端(Appenders)和日志格式化器(Layout)。

Logger: 控制要啟用或禁用哪些日志記錄語句，并對日志信息進行級別限制

Appenders: 指定了日志將打印到控制臺還是文件中

Layout: 控制日志信息的顯示格式

Log4j 中將要輸出的 Log 信息定義了 5 種級別，依次為 DEBUG、INFO、WARN、ERROR 和 FATAL，當(dāng)輸出時，只有級別高過配置中規(guī)定的級別的信息才能真正的輸出，這樣就很方便的來配置不同情況下要輸出的內(nèi)容，而不需要更改代碼。

日志等級 Level

Log4j 日志等級主要有以下幾種：

• off：關(guān)閉日志，最高等級，任何日志都無法輸出

• fatal：災(zāi)難性錯誤，在能夠輸出日志的所有等級中最高

• error：錯誤，一般用于異常信息

• warn：警告，一般用于不規(guī)范的引用等信息

• info：普通信息

• debug：調(diào)試信息，一般用于程序執(zhí)行過程

• trace：堆棧信息，一般不使用

• all：打開所有日志，最低等級，所有日志都可使用

在 Logger 核心類中， 除了 off/all 以外， 其他每個日志等級都對應(yīng)一組重載的方法，用于記錄不同等級的日志。當(dāng)且僅當(dāng)方法對應(yīng)的日志等級大于等于設(shè)置的日志等級時，日志才會被記錄。

使用

使用 Log4j 只需要導(dǎo)入一個 jar 包

?org.log4j
???log4j
???1.2.9

配置方式

在 Resources Root目錄下創(chuàng)建一個 log4j.properties 配置文件，一定要注意：文件的位置和文件名一個都不能錯，然后在 properties 文件中添加配置信息

log4j.rootLogger=debug,cons

log4j.appender.cons=org.apache.log4j.ConsoleAppender?
log4j.appender.cons.target=System.out??
log4j.appender.cons.layout=org.apache.log4j.PatternLayout?
log4j.appender.cons.layout.ConversionPattern=%m%n

propertis 文件是最常用的配置方式。實際開發(fā)過程中，基本都是使用properties 文件。pripertis 配置文件的配置方式為：

#?配置日志等級，?指定生效的Appender名字，?AppenderA是定義的Appender的名字
log4j.rootLogger=日志等級,AppenderA,AppenderB,...?
#?----------------?定義一個appender------------------------
#?定義一個appender，?appender名字可以是任意的，?
#?如果要使該appender生效，?須加入到上一行rootLogger中,?后面為對應(yīng)的Appender類
log4j.appender.appender名字=org.apache.log4j.ConsoleAppender?
log4j.appender.appender名字.target=System.out??
#?定義Appender的布局方式
log4j.appender.appender名字.layout=org.apache.log4j.SimpleLayout?

Logback

簡單地說，Logback 是一個 Java 領(lǐng)域的日志框架。它被認為是 Log4J 的繼承人。logback 是 log4j 的升級，所以 logback 自然比log4j有很多優(yōu)秀的地方。

模塊組成

Logback 主要由三個模塊 logback-core，logback-classic, logback-access 組成。

logback-core 是其它模塊的基礎(chǔ)設(shè)施，其它模塊基于它構(gòu)建，顯然，logback-core 提供了一些關(guān)鍵的通用機制。

logback-classic 的地位和作用等同于 Log4J，它也被認為是 Log4J 的一個改進版，并且它實現(xiàn)了簡單日志門面 SLF4J；

logback-access 主要作為一個與 Servlet 容器交互的模塊，比如說 tomcat 或者 jetty，提供一些與HTTP 訪問相關(guān)的功能。

Logback 組件

Logback主要組件如下：

• Logger：日志的記錄器；把他關(guān)聯(lián)到應(yīng)用對應(yīng)的context上；主要用于存放日志對象；可以自定義日志類型級別

• Appender：用于指定日志輸出的目的地；目的地可以是控制臺，文件，數(shù)據(jù)庫等

• Layout：負責(zé)把事件轉(zhuǎn)換成字符串；格式化的日志信息的輸出；在logback中Layout對象被封裝在encoder中

Logback 優(yōu)點

Logback主要優(yōu)點如下：

• 同樣的代碼路徑，Logback 執(zhí)行更快

• 更充分的測試

• 原生實現(xiàn)了 SLF4J API（Log4J 還需要有一個中間轉(zhuǎn)換層）

• 內(nèi)容更豐富的文檔

• 支持 XML 或者 Groovy 方式配置

• 配置文件自動熱加載

• 從 IO 錯誤中優(yōu)雅恢復(fù)

• 自動刪除日志歸檔

• 自動壓縮日志成為歸檔文件

• 支持 Prudent 模式，使多個 JVM 進程能記錄同一個日志文件

• 支持配置文件中加入條件判斷來適應(yīng)不同的環(huán)境

• 更強大的過濾器

• 支持 SiftingAppender（可篩選 Appender）

• 異常棧信息帶有包信息

標(biāo)簽屬性

Logback主要標(biāo)簽屬性如下：

• configuration：配置的根節(jié)點

• scan：為ture時，若配置文件屬性改變會被掃描并重新加載，默認為true

• scanPeriod：監(jiān)測配置文件是否有修改的時間間隔，若沒給出時間單位，默認單位為毫秒；默認時間為1分鐘；當(dāng)scan="true"時生效

• debug：為true時，將打出logback的內(nèi)部日志信息，實時查看logback運行狀態(tài)；默認值為false

• contextName：上下文名稱，默認為“default”，使用此標(biāo)簽可設(shè)置為其它名稱，用于區(qū)分不同應(yīng)用程序的記錄；一旦設(shè)置不能修改

• appender：configuration 的子節(jié)點，負責(zé)寫日志的組件，有name和class兩個必要屬性

• name：addender的名稱

• class：appender的全限定名，就是對應(yīng)的某個具體的Appender類名，比如ConsoleAppender、FileAppender

• append：為true時，日志被追加到文件結(jié)尾，如果是flase，清空現(xiàn)存的文件，默認值為true

配置方式

logback 框架會默認加載 classpath 下命名為 logback-spring 或 logback 的配置文件：

"1.0"?encoding="utf-8"?>

????"logback.properties"/>
????"CONSOLE-LOG"?class="ch.qos.logback.core.ConsoleAppender">
????????class="ch.qos.logback.classic.PatternLayout">
????????????[%d{yyyy-MM-dd'?'HH:mm:ss.sss}]?[%C]?[%t]?[%L]?[%-5p]?%m%n
????????
????
????
????"INFO-LOG"?class="ch.qos.logback.core.rolling.RollingFileAppender">
????????class="ch.qos.logback.classic.filter.LevelFilter">
????????????ERROR
????????????DENY
????????????ACCEPT
????????
????????
????????????[%d{yyyy-MM-dd'?'HH:mm:ss.sss}]?[%C]?[%t]?[%L]?[%-5p]?%m%n
????????
?
????????
????????class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
????????????
????????????${LOG_INFO_HOME}//%d.log
????????????30
????????
????
????"ERROR-LOG"?class="ch.qos.logback.core.rolling.RollingFileAppender">
????????class="ch.qos.logback.classic.filter.ThresholdFilter">
????????????ERROR
????????
????????
????????????[%d{yyyy-MM-dd'?'HH:mm:ss.sss}]?[%C]?[%t]?[%L]?[%-5p]?%m%n
????????
????????
????????class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
????????????
????????????${LOG_ERROR_HOME}//%d.log
????????????30
????????
????
?
????"info">
????????"CONSOLE-LOG"?/>
????????"INFO-LOG"?/>
????????"ERROR-LOG"?/>
????
?

ELK

ELK 是軟件集合 Elasticsearch、Logstash、Kibana 的簡稱，由這三個軟件及其相關(guān)的組件可以打造大規(guī)模日志實時處理系統(tǒng)。新增了一個 FileBeat，它是一個輕量級的日志收集處理工具(Agent)，F(xiàn)ilebeat 占用資源少，適合于在各個服務(wù)器上搜集日志后傳輸給 Logstash，官方也推薦此工具。

• Elasticsearch：是一個基于 Lucene 的、支持全文索引的分布式存儲和索引引擎，主要負責(zé)將
  日志索引并存儲起來，方便業(yè)務(wù)方檢索查詢。

• Logstash：是一個日志收集、過濾、轉(zhuǎn)發(fā)的中間件，主要負責(zé)將各條業(yè)務(wù)線的各類日志統(tǒng)一收
  集、過濾后，轉(zhuǎn)發(fā)給 Elasticsearch 進行下一步處理。

• Kibana：是一個可視化工具，主要負責(zé)查詢 Elasticsearch 的數(shù)據(jù)并以可視化的方式展現(xiàn)給業(yè)
  務(wù)方，比如各類餅圖、直方圖、區(qū)域圖等。

• Filebeat：隸屬于 Beats，是一個輕量級的日志收集處理工具。目前 Beats 包含四種工具：Packetbeat（搜集網(wǎng)絡(luò)流量數(shù)據(jù)）、Topbeat（搜集系統(tǒng)、進程和文件系統(tǒng)級別的 CPU 和內(nèi)存使用情況等數(shù)據(jù)）、Filebeat（搜集文件數(shù)據(jù)）、Winlogbeat（搜集 Windows 事件日志數(shù)據(jù)）

主要特點

一個完整的集中式日志系統(tǒng)，需要包含以下幾個主要特點：

• 收集：能夠采集多種來源的日志數(shù)據(jù)

• 傳輸：能夠穩(wěn)定的把日志數(shù)據(jù)傳輸?shù)街醒胂到y(tǒng)

• 存儲：如何存儲日志數(shù)據(jù)

• 分析：可以支持 UI 分析

• 警告：能夠提供錯誤報告，監(jiān)控機制

ELK提供了一整套解決方案，并且都是開源軟件，之間互相配合使用，完美銜接，高效的滿足了很多場合的應(yīng)用。目前主流的一種日志系統(tǒng)。

應(yīng)用場景

在海量日志系統(tǒng)的運維中，以下幾個方面是必不可少的：

• 分布式日志數(shù)據(jù)集中式查詢和管理；

• 系統(tǒng)監(jiān)控，包含系統(tǒng)硬件和應(yīng)用各個組件的監(jiān)控；

• 故障排查；

• 安全信息和事件管理；

• 報表功能；

ELK 運行于分布式系統(tǒng)之上，通過搜集、過濾、傳輸、儲存，對海量系統(tǒng)和組件日志進行集中管理和準實時搜索、分析，使用搜索、監(jiān)控、事件消息和報表等簡單易用的功能，幫助運維人員進行線上業(yè)務(wù)的準實時監(jiān)控、業(yè)務(wù)異常時及時定位原因、排除故障、程序研發(fā)時跟蹤分析Bug、業(yè)務(wù)趨勢分析、安全與合規(guī)審計，深度挖掘日志的大數(shù)據(jù)價值。同時 Elasticsearch 提供多種 API（REST JAVA PYTHON等API）供用戶擴展開發(fā)，以滿足其不同需求。

配置方式

filebeat 的配置，打開filebeat.yml，進行配置，如下:

#輸入源，可以寫多個
filebeat.input:
-?type:?log
??enabled:?true
??#輸入源文件地址
??path:
????-?/data/logs/tomcat/*.log
??#多行正則匹配，匹配規(guī)則?例：2020-09-29，不是這樣的就與上一條信息合并
??multiline:
????pattern:?'\s*\['
????negate:?true
????match:?after
??#起個名字
??tags:?["tomcat"]

#輸出目標(biāo)，可以把logstash改成es
output.logstash:
??hosts:?[172.29.12.35:5044]

logstash 的配置，建一個以.conf為后綴的文件，或者打開 config 文件夾下的 .conf 文件，這里的配置文件是可以同時啟動多個的，而且還有一個功能強大的filter功能，可以過濾原始數(shù)據(jù)，如下：

#輸入源（必須）
input?{
?#控制臺鍵入
?stdin?{}
?#文件讀取
?file?{
??#類似賦予的名字
??type?=>?"info"
??#文件路徑，可以用*代表所有
??path?=>?['/usr/local/logstash-7.9.1/config/data-my.log']
??#第一次從頭開始讀，下一次繼續(xù)上一次的位置繼續(xù)讀
??start_position?=>?"beginning"
?}
?file?{
??type?=>?"error"
??path?=>?['/usr/local/logstash-7.9.1/config/data-my2.log']
??start_position?=>?"beginning"
??codec=>multiline{
???pattern?=>?"\s*\["
???negate?=>?true
???what?=>?"previous"
??}
?}
?#與filebates配合使用
?beats{
??port?=>?5044
?}
}
#輸出目標(biāo)（必須）
output?{
?#判斷type是否相同
?if?[type]?==?"error"{
??#如果是，就寫入此es中
??elasticsearch{
???hosts?=>?"172.29.12.35:9200"
???#kibana通過index的名字進行查詢，這里的YYYY是動態(tài)獲取日期
???index?=>?"log-error-%{+YYYY.MM.dd}"
??}
?}
?if?[type]?==?"info"{
??elasticsearch{
???hosts?=>?"172.29.12.35:9200"
???#kibana通過index的名字進行查詢
???index?=>?"log-info-%{+YYYY.MM.dd}"
??}
?}
?#這里判斷的是filebates中賦予的tags是否是tomcat
?if?"tomcat"?in?[tags]{
??elasticsearch{
???hosts?=>?"172.29.12.35:9200"
???#kibana通過index的名字進行查詢
???index?=>?"tomcat"
??}
?}
?#控制臺也會打印信息
?stdout?{
??codec?=>?rubydebug?{}
?}
}