日志瘦身騷操作：從5G優(yōu)化到1G！
文章來(lái)源：https://c1n.cn/mtr19
在日常開(kāi)發(fā)中，通常為了方便調(diào)試、方便查問(wèn)題，會(huì)打印很多 INFO 級(jí)別的日志。
隨著訪問(wèn)量越來(lái)越大，一不小心，某個(gè)日志文件一天的 size 就大于了某個(gè)閾值（如 5G），于是，收到了優(yōu)化日志大小的告警，一定時(shí)間內(nèi)不優(yōu)化反饋給你主管，囧...
日志過(guò)大容易導(dǎo)致一些運(yùn)維操作消耗機(jī)器性能，如日志文件檢索、數(shù)據(jù)采集、磁盤(pán)清理等。
那么，日志瘦身哪些常見(jiàn)的思路呢？本文結(jié)合某個(gè)具體案例談?wù)勎业目捶ā?/p>
日志瘦身方法論
只打印必要的日志
有時(shí)候?yàn)榱朔奖銣y(cè)試，臨時(shí)打印很多 INFO 級(jí)別日志。對(duì)于這種日志，等項(xiàng)目上線前，可以將非必要的日志刪除或者調(diào)整為 DEBUG 級(jí)別。
但有些場(chǎng)景下有些日志可打印為 DEBUG 也可打印為 INFO，打印成 INFO 級(jí)別占空間，打印成 DEBUG 級(jí)別線上查問(wèn)題的時(shí)候又需要用到，腫么辦？
我們可以對(duì)日志工具類(lèi)進(jìn)行改造，支持上下文傳遞某個(gè)開(kāi)關(guān)時(shí)（正常調(diào)用沒(méi)有這個(gè)開(kāi)關(guān)，通過(guò)公司的 Tracer 或者 RPC上下文傳遞），可以臨時(shí)將 DEBUG日志提升為 INFO級(jí)別。
偽代碼如下：
if(log.isDebugEnable()){
log.debug(xxx);
}else if(TracerUtils.openDebug2Info()){
log.info("【debug2info】"+xxx);
}
這樣，可以將一些糾結(jié)是否要打印成 INFO 日志的 log 打印成 DEBUG 級(jí)別，查問(wèn)題時(shí)自動(dòng)提升為INFO 日志。
為了避免誤會(huì)，區(qū)分 DEBUG 提升 INFO 的日志和普通 INFO 日志，加上類(lèi)似【debug2info】 日志前綴。
當(dāng)然，你也可以搞一些其他騷操作，這里只是舉個(gè)例子，請(qǐng)自行舉一反三。
合并打印
有些可以合并的日志，可以考慮合并。
如在同一個(gè)方法前后都打印了 INFO 日志：
INFO [64 位traceId] XXXService 執(zhí)行前 size =10 INFO [64 位traceId] XXXService 執(zhí)行后 size =4
可以合并成一條：
INFO [64 位traceId] XXXService 執(zhí)行前 size =10 執(zhí)行后 size =4
簡(jiǎn)化&縮寫(xiě)&壓縮
某個(gè)日志非常有必要，但是打印的對(duì)象有些大，如果可以滿足問(wèn)題排查需求的情況下，我們可以：
選擇只打印其 ID 創(chuàng)建一個(gè)只保留關(guān)鍵字段的日志專(zhuān)用對(duì)象，轉(zhuǎn)化為日志專(zhuān)用對(duì)象，再打印。 可以用縮寫(xiě)，如 write 簡(jiǎn)化為 w, read 簡(jiǎn)化為 r，execute 簡(jiǎn)化為 e 等；比如 pipeline 中有 20 個(gè)核心 bean ，打印日志時(shí)可以使用不同的編號(hào)替代 bean 全稱(chēng)，如 S1，S2 ，雖然沒(méi)那么直觀，但既可以查問(wèn)題，又降低了日志量。
優(yōu)化案例
場(chǎng)景描述
一個(gè)業(yè)務(wù)場(chǎng)景涉及很多 bean，為了復(fù)用一些通用邏輯，這些 bean 都繼承自某個(gè)抽象類(lèi)。
在抽象類(lèi)中，定義了執(zhí)行 bean 前后的一些通用邏輯，如執(zhí)行前后打印當(dāng)前 pipeline 中 item 的數(shù)量。最后一個(gè) bean 執(zhí)行完結(jié)果轉(zhuǎn)換后需要打印出結(jié)果。
優(yōu)化分析
① 只打印必要日志
由于當(dāng)前 bean 執(zhí)行前 相當(dāng)于前一個(gè) bean 執(zhí)行后，因此只打印執(zhí)行后的日志就可以，執(zhí)行前的 INFO 日志可以刪除或者改為 DEBUG （只打印必要日志） 通常問(wèn)題只出現(xiàn)在執(zhí)行前后 size 不一致的情況下，因此執(zhí)行后打印日志前可以加個(gè)判斷，如果執(zhí)行前后 size 相同則不打印。
偽代碼如下：
if(sizeBefore != sizeAfter){
log.info("service:{}, 前size:{},后size:{}", getName(),sizeBefore, sizeAfter)
}
這招效果很明顯，因?yàn)榇蠖鄶?shù) bean 的執(zhí)行前后 size 是相同的，就不會(huì)打印這條日志。而假設(shè)之前有 20 個(gè)，這條日志就需要打印 20次，改進(jìn)后可能只需要打印 2-3 次。
② 日志合并
為了方便查問(wèn)題還需要打印執(zhí)行前的 size ，那么將執(zhí)行前的 size 記錄在內(nèi)存中，打印執(zhí)行后日志時(shí)多打印出執(zhí)行前的 size。
偽代碼如下：
log.info("service:{}, 執(zhí)行前size:{}", getName(),sizeBefore)
log.info("service:{}, 執(zhí)行后size:{}", getName(),sizeBefore, sizeAfter)
合并后：
log.info("service:{}, 前size:{},后size:{}", getName(),sizeBefore, sizeAfter)
③ 日志精簡(jiǎn)
對(duì)于最終結(jié)果，將結(jié)果對(duì)象（如 XXDTO）轉(zhuǎn)化為只包括關(guān)鍵信息，如 id, title 的日志對(duì)象（XXSimpleLogDTO），轉(zhuǎn)化為日志對(duì)象后再打印。
log.info("resultId:{}",result.getId());
或者：
log.info("result:{}",toSimpleLog(result));
效果評(píng)估
該日志一天產(chǎn)生 5G 左右，這里百分之 80% 左右都是打印執(zhí)行前后的 size，10% 左右是打印最終結(jié)果，還有一些其他的日志。
經(jīng)過(guò)上述方法優(yōu)化后，每天日志量不足 1G。
在滿足排查問(wèn)題的需要，又實(shí)現(xiàn)日志瘦身之間進(jìn)行了取舍。
總結(jié)
日志瘦身需要進(jìn)行權(quán)衡，保留排查問(wèn)題的必要日志情況下盡可能精簡(jiǎn)。可以采用刪除不必要日志，合并日志，日志簡(jiǎn)化等方式進(jìn)行優(yōu)化。
我們還可以進(jìn)行一些騷操作，支持線上 DEBUG 臨時(shí)提升 INFO（當(dāng)然也可以使用 arthas）來(lái)輔助我們查問(wèn)題。
你還有哪些不錯(cuò)的日志瘦身技巧？歡迎在文章末尾評(píng)論一起交流。
推薦閱讀
你好，我是程序猿DD，10年開(kāi)發(fā)老司機(jī)、阿里云MVP、騰訊云TVP、出過(guò)書(shū)創(chuàng)過(guò)業(yè)、國(guó)企4年互聯(lián)網(wǎng)6年。從普通開(kāi)發(fā)到架構(gòu)師、再到合伙人。一路過(guò)來(lái)，給我最深的感受就是一定要不斷學(xué)習(xí)并關(guān)注前沿。只要你能堅(jiān)持下來(lái)，多思考、少抱怨、勤動(dòng)手，就很容易實(shí)現(xiàn)彎道超車(chē)！所以，不要問(wèn)我現(xiàn)在干什么是否來(lái)得及。如果你看好一個(gè)事情，一定是堅(jiān)持了才能看到希望，而不是看到希望才去堅(jiān)持。相信我，只要堅(jiān)持下來(lái)，你一定比現(xiàn)在更好！如果你還沒(méi)什么方向，可以先關(guān)注我，這里會(huì)經(jīng)常分享一些前沿資訊，幫你積累彎道超車(chē)的資本。