一文玩轉(zhuǎn) Java 日志數(shù)據(jù)脫敏
點(diǎn)擊關(guān)注公眾號(hào)，Java干貨及時(shí)送達(dá)??
來源：blog.csdn.net/blue_driver/article/details/122025368
自定義Layout 編寫log4j配置 正則匹配說明 注意事項(xiàng) 脫敏測(cè)試
許多系統(tǒng)為了安全需要對(duì)敏感信息（如手機(jī)號(hào)、郵箱、姓名、身份證號(hào)、密碼、卡號(hào)、住址等）的日志打印要求脫敏后才能輸出，本文將結(jié)合個(gè)人經(jīng)歷及總結(jié)分享一種log4j日志脫敏方式。
自定義Layout
import org.apache.logging.log4j.core.Layout;
import org.apache.logging.log4j.core.LogEvent;
import org.apache.logging.log4j.core.config.Node;
import org.apache.logging.log4j.core.config.plugins.Plugin;
import org.apache.logging.log4j.core.config.plugins.PluginAttribute;
import org.apache.logging.log4j.core.config.plugins.PluginElement;
import org.apache.logging.log4j.core.config.plugins.PluginFactory;
import org.apache.logging.log4j.core.layout.AbstractStringLayout;
import org.apache.logging.log4j.core.layout.PatternLayout;
import org.apache.logging.log4j.core.pattern.RegexReplacement;
import java.nio.charset.Charset;
@Plugin(name = "MyPatternLayout", category = Node.CATEGORY, elementType = Layout.ELEMENT_TYPE, printObject = true)
public class MyPatternLayout extends AbstractStringLayout {
private PatternLayout patternLayout;
private Boolean sensitive;
private RegexReplacement[] replaces;
protected MyPatternLayout(Charset charset, String pattern, Boolean sensitive, RegexReplacement[] replaces) {
super(charset);
patternLayout = PatternLayout.newBuilder().withPattern(pattern).build();
this.sensitive = sensitive;
this.replaces = replaces;
}
/**
* 插件構(gòu)造工廠方法
*
* @param pattern 輸出pattern
* @param charset 字符集
* @param sensitive 是否開啟脫敏
* @param replaces 脫敏規(guī)則
* @return Layout<String>
*/
@PluginFactory
public static Layout<String> createLayout(@PluginAttribute(value = "pattern") final String pattern,
@PluginAttribute(value = "charset", defaultString = "UTF-8") final Charset charset,
@PluginAttribute(value = "sensitive") final Boolean sensitive,
@PluginElement("replace") final RegexReplacement[] replaces) {
return new MyPatternLayout(charset, pattern, sensitive, replaces);
}
@Override
public String toSerializable(LogEvent event) {
// 原日志信息
String msg = this.patternLayout.toSerializable(event);
if (Boolean.FALSE.equals(this.sensitive)) {
// 不脫敏，直接返回
return msg;
}
if (this.replaces == null || this.replaces.length == 0) {
throw new RuntimeException("未配置脫敏規(guī)則，請(qǐng)檢查配置重試");
}
for (RegexReplacement replace : this.replaces) {
// 遍歷脫敏正則 & 替換敏感數(shù)據(jù)
msg = replace.format(msg);
}
// 脫敏后的日志
return msg;
}
}
編寫log4j配置
以下預(yù)設(shè)了8中常見規(guī)則，請(qǐng)自行根據(jù)實(shí)際情況修改
<?xml version="1.0" encoding="utf-8"?>
<configuration>
<properties>
<!-- 文件輸出格式 -->
<property name="PATTERN">%d{yyyy-MM-dd HH:mm:ss.SSS} %5level --- [%t] %c : %msg%n</property>
</properties>
<appenders>
<!-- 日志打印到控制臺(tái)Appender -->
<Console name="CONSOLE" target="system_out">
<MyPatternLayout pattern="${PATTERN}" sensitive="true">
<replace>
<!-- 11位的手機(jī)號(hào)：保留前3后4 -->
<regex>
<![CDATA[
(mobile|手機(jī)號(hào))(=|=\[|\":\"|:|：|=')(1)([3-9]{2})(\d{4})(\d{4})(\]|\"|'|)
]]>
</regex>
<replacement>$1$2$3$4****$6$7</replacement>
</replace>
<replace>
<!-- 固定電話：XXXX-XXXXXXXX或XXX-XXXXXXXX，保留區(qū)號(hào)+前2后2 -->
<regex>
<![CDATA[
(tel|座機(jī))(=|=\[|\":\"|:|：|=')([\d]{3,4}-)(\d{2})(\d{4})(\d{2})(\]|\"|'|)
]]>
</regex>
<replacement>$1$2$3$4****$6$7</replacement>
</replace>
<replace>
<!-- 地址：漢字+字母+數(shù)字+下劃線+中劃線，留前3個(gè)漢字 -->
<regex>
<![CDATA[
(地址|住址|address)(=|=\[|\":\"|:|：|=')([\u4e00-\u9fa5]{3})(\w|[\u4e00-\u9fa5]|-)*(\]|\"|'|)
]]>
</regex>
<replacement>$1$2$3****$5</replacement>
</replace>
<replace>
<!-- 19位的卡號(hào)，保留后4 -->
<regex>
<![CDATA[
(cardNo|卡號(hào))(=|=\[|\":\"|:|：|=')(\d{15})(\d{4})(\]|\"|'|)
]]>
</regex>
<replacement>$1$2***************$4$5</replacement>
</replace>
<replace>
<!-- 姓名,2-4漢字，留前1-->
<regex>
<![CDATA[
(name|姓名)(=|=\[|\":\"|:|：|=')([\u4e00-\u9fa5]{1})([\u4e00-\u9fa5]{1,3})(\]|\"|'|)
]]>
</regex>
<replacement>$1$2$3**$5</replacement>
</replace>
<replace>
<!-- 密碼 6位數(shù)字，全* -->
<regex>
<![CDATA[
(password|密碼|驗(yàn)證碼)(=|=\[|\":\"|:|：|=')(\d{6})(\]|\"|'|)
]]>
</regex>
<replacement>$1$2******$4</replacement>
</replace>
<replace>
<!-- 身份證，18位（結(jié)尾為數(shù)字或X、x），保留前1后1 -->
<regex>
<![CDATA[
(身份證號(hào)|idCard)(=|=\[|\":\"|:|：|=')(\d{1})(\d{16})([\d|X|x]{1})(\]|\"|)
]]>
</regex>
<replacement>$1$2$3****************$5$6</replacement>
</replace>
<replace>
<!-- 郵箱，保留@前的前1后1 -->
<regex>
<![CDATA[
(\w{1})(\w*)(\w{1})@(\w+).com
]]>
</regex>
<replacement>$1****$3@$4.com</replacement>
</replace>
</MyPatternLayout>
</Console>
</appenders>
<loggers>
<!-- 控制臺(tái)輸出 -->
<root level="info">
<AppenderRef ref="CONSOLE"/>
</root>
</loggers>
</configuration>
注意：
Console使用了上一節(jié)中我們自己寫的的MyPatternLayout，MyPatternLayout的兩個(gè)屬性pattern和sensitive，對(duì)應(yīng)類MyPatternLayout的插件工廠方法的入?yún)?/section>MyPatternLayout節(jié)點(diǎn)的子節(jié)點(diǎn)replace（可多個(gè)）是我們配置的脫敏正則表達(dá)式
正則匹配說明
<replace>
<!-- 11位的手機(jī)號(hào)：保留前3后4 -->
<regex>
<![CDATA[
(mobile|手機(jī)號(hào)|phoneNo)(=|=\[|\":\"|:|：|=')(1)([3-9]{2})(\d{4})(\d{4})(\]|\"|'|)
]]>
</regex>
<replacement>$1$2$3$4****$6$7</replacement>
</replace>
regex說明
(mobile|手機(jī)號(hào)|phoneNo)：脫敏關(guān)鍵字，多個(gè)之間以英文|分隔(=|=\[|\":\"|:|：|=')：關(guān)鍵字后的符號(hào)，多個(gè)之間以英文|分隔，詳見下文匹配說明(1)：匹配數(shù)字1([3-9]{2})：匹配2位數(shù)字，取值為3-9間的數(shù)字(\d{4})：匹配4位數(shù)字(\d{4})：匹配4位數(shù)字(\]|\"|'|)：匹配值后的其他字符
// 代碼
logger.infoMessage("mobile={}", "13511114444");
# 脫敏后
2021-11-16 11:02:08.767 INFO --- [main] log.test.LogTest : mobile=135****4444
分組匹配示意圖（同顏色為對(duì)應(yīng)關(guān)系）
replacement中的$n即對(duì)應(yīng)第n對(duì)括號(hào)（從1開始），上圖中共有7對(duì)括號(hào)，$1$2$3$4**** $6$7則表示，僅有第5組內(nèi)容被**** 替代，其他內(nèi)容按原內(nèi)容顯示
注意事項(xiàng)
根據(jù)情況自行調(diào)整replace節(jié)點(diǎn) 含脫敏關(guān)鍵字的正則，盡量列舉全面 值匹配正則（如上文的手機(jī)號(hào)的第3分組到倒數(shù)第2分組）：需要根據(jù)實(shí)際情況調(diào)整，特別是卡號(hào)、賬號(hào)的規(guī)則，各家銀行或有不同 修改完配置后，務(wù)必進(jìn)行測(cè)試，正則解析出錯(cuò)只有運(yùn)行時(shí)可發(fā)現(xiàn) 日志打印規(guī)范，根據(jù)第2分組 (=|=\[|\":\"|:|：|=')可知，可匹配如下情況
@Test
public void test0() {
// 等號(hào)
logger.infoMessage("mobile={}", "13511114444");
// 等號(hào)+[
logger.infoMessage("mobile=[{}]", "13511114444");
// 英文單引號(hào)+等號(hào)
logger.infoMessage("mobile'='{}'", "13511114444");
// 中文冒號(hào)
logger.infoMessage("mobile：{}", "13511114444");
// 英文冒號(hào)
logger.infoMessage("mobile:{}", "13511114444");
// 英文雙引號(hào)+英文冒號(hào)
logger.infoMessage("\"mobile\":\"{}\"", "13511114444");
}
# 脫敏后
log.test.LogTest : mobile=135****4444
log.test.LogTest : mobile=[135****4444]
log.test.LogTest : mobile：135****4444
log.test.LogTest : mobile:135****4444
log.test.LogTest : 'mobile'='13511114444'
log.test.LogTest : "mobile":"135****4444"
對(duì)于不符合如上的情況，請(qǐng)調(diào)整代碼或修改匹配正則
脫敏測(cè)試
普通字符串值直接輸出
@Test
public void test1() {
//11位手機(jī)號(hào)
logger.infoMessage("mobile={}", "13511114444");
logger.infoMessage("mobile={},手機(jī)號(hào)：{}", "13511112222", "13511113333");
logger.infoMessage("手機(jī)號(hào)：{}", "13511115555");
//固定電話（帶區(qū)號(hào)-）
logger.infoMessage("tel：{},座機(jī)={}", "0791-83376222", "021-88331234");
logger.infoMessage("tel：{}", "0791-83376222");
logger.infoMessage("座機(jī)={}", "021-88331234");
//地址
logger.infoMessage("address：{}", "浙江省杭州市西湖區(qū)北京西路100號(hào)");
logger.infoMessage("地址：{}", "上海市浦東區(qū)北京東路1-10號(hào)");
//19位卡號(hào)
logger.infoMessage("cardNo：{}", "6227002020000101222");
//姓名
logger.infoMessage("name={}, 姓名=[{}]，name={}，姓名：{}", "張三", "上官婉兒", "李云龍", "楚云飛");
//密碼
logger.infoMessage("password：{}，密碼={}", "123456", "456789");
logger.infoMessage("password：{}", "123456");
logger.infoMessage("密碼={}", "123456");
//身份證號(hào)碼
logger.infoMessage("idCard：{}，身份證號(hào)={}", "360123202111111122", "360123202111111122");
logger.infoMessage("身份證號(hào)={}", "360123202111111122");
//郵箱
logger.infoMessage("郵箱:{}", "[email protected]");
logger.infoMessage("email={}", "[email protected]");
}
# 結(jié)果
log.test.LogTest : mobile=135****4444
log.test.LogTest : mobile=135****2222,手機(jī)號(hào)：135****3333
log.test.LogTest : 手機(jī)號(hào)：135****5555
log.test.LogTest : tel：0791-83****22,座機(jī)=021-88****34
log.test.LogTest : tel：0791-83****22
log.test.LogTest : 座機(jī)=021-88****34
log.test.LogTest : address：浙江省****
log.test.LogTest : 地址：上海市****
log.test.LogTest : cardNo：***************1222
log.test.LogTest : name=張**, 姓名=[上**]，name=李**，姓名：楚**
log.test.LogTest : password：******，密碼=******
log.test.LogTest : password：******
log.test.LogTest : 密碼=******
log.test.LogTest : idCard：3****************2，身份證號(hào)=3****************2
log.test.LogTest : 身份證號(hào)=3****************2
log.test.LogTest : 郵箱:w****[email protected]
log.test.LogTest : email=w****[email protected]
json和toString的脫敏輸出
@Test
public void test2() {
User user = new User();
user.setCardNo("6227002020000101222");
user.setTel("0571-28821111");
user.setAddress("浙江省西湖區(qū)西湖路288號(hào)錢江樂園2-101室");
user.setEmail("[email protected]");
user.setPassword("123456");
user.setMobile("15911116789");
user.setName("張三");
user.setIdCard("360123202111111122");
Job job = new Job();
job.setAddress("浙江省西湖區(qū)西湖路288號(hào)錢江樂園2-101室");
job.setTel("0571-12345678");
job.setJobName("操作員");
job.setSalary(2000);
job.setCompany("股份有限公司");
job.setPosition(Arrays.asList("需求", "開發(fā)", "測(cè)試", "上線"));
user.setJob(job);
//toString
logger.infoMessage("用戶信息：{}", user);
//json
logger.infoMessage("用戶信息：{}", JSONUtil.toJsonStr(user));
}
log.test.LogTest : 用戶信息：User{name='張**', idCard='3****************2', cardNo='***************1222', mobile='159****6789', tel='0571-28****11', password='******', email='z****[email protected]', address='浙江省****', job=Job{jobName='操作員', salary=2000, company='股份有限公司', address='浙江省****', tel='0571-12****78', position=[需求, 開發(fā), 測(cè)試, 上線]}}
log.test.LogTest : 用戶信息：{"password":"******","address":"浙江省****","idCard":"3****************2","name":"張**","mobile":"159****6789","tel":"0571-28****11","job":{"jobName":"操作員","address":"浙江省****","company":"股份有限公司","tel":"0571-12****78","position":["需求","開發(fā)","測(cè)試","上線"],"salary":2000},"cardNo":"***************1222","email":"z****[email protected]"}
在線正則測(cè)試：https://c.runoob.com/front-end/854/
參考鏈接
https://logging.apache.org/log4j/2.x/manual/extending.html https://mp.weixin.qq.com/s/uKlit0Cu8ZhqM_1I1_N-9Q https://blog.csdn.net/VcStrong/article/details/80527455
1. JVM 內(nèi)存布局詳解，圖文并茂，寫得太好了！
最近面試BAT，整理一份面試資料《Java面試BATJ通關(guān)手冊(cè)》，覆蓋了Java核心技術(shù)、JVM、Java并發(fā)、SSM、微服務(wù)、數(shù)據(jù)庫(kù)、數(shù)據(jù)結(jié)構(gòu)等等。
獲取方式：點(diǎn)“在看”，關(guān)注公眾號(hào)并回復(fù) Java 領(lǐng)取，更多內(nèi)容陸續(xù)奉上。
PS：因公眾號(hào)平臺(tái)更改了推送規(guī)則，如果不想錯(cuò)過內(nèi)容，記得讀完點(diǎn)一下“在看”，加個(gè)“星標(biāo)”，這樣每次新文章推送才會(huì)第一時(shí)間出現(xiàn)在你的訂閱列表里。
點(diǎn)“在看”支持小哈呀，謝謝啦??
評(píng)論
圖片
表情