通用的底層埋點(diǎn)都是怎么做的？

想要在程序里監(jiān)控?cái)?shù)據(jù)庫(kù)的操作耗時(shí)，想要在底層框架中自動(dòng)傳遞鏈路跟蹤信息，這些需求經(jīng)常會(huì)碰到，特別是在構(gòu)建基礎(chǔ)框架的時(shí)候。

核心目標(biāo)只有一個(gè)，那就是在底層封裝好，不用上層使用人員關(guān)心。今天跟大家聊聊常用的底層擴(kuò)展埋點(diǎn)方式是怎么處理的。

框架自帶擴(kuò)展點(diǎn)

如果你使用的框架在設(shè)計(jì)的時(shí)候，就預(yù)留了擴(kuò)展點(diǎn)就很方便了。比如 Mybatis 的攔截器，我們可以在攔截器中對(duì) Sql 進(jìn)行監(jiān)控，改寫(xiě)。

比如阿里的 Sentinel 框架，可以通過(guò) SPI 來(lái)擴(kuò)展 Slot，調(diào)整編排順序，新增自定義的 Slot 來(lái)實(shí)現(xiàn)限流告警等。

開(kāi)源框架的質(zhì)量參差不齊，有在早期設(shè)計(jì)比較好的，留足了各種擴(kuò)展點(diǎn)，方便使用者。也有一些沒(méi)有考慮那么全面，導(dǎo)致你在使用的時(shí)候需要進(jìn)行擴(kuò)展，發(fā)現(xiàn)找不到擴(kuò)展點(diǎn)，對(duì)于框架本身沒(méi)有提供擴(kuò)展點(diǎn)的場(chǎng)景，請(qǐng)接著看下面。

修改源碼

如果框架沒(méi)有擴(kuò)展點(diǎn)，最直接的方式就是修改開(kāi)源框架的源碼來(lái)擴(kuò)展自己想要的功能，通常的做法就是克隆源碼到自己的私有倉(cāng)庫(kù)中，然后修改，測(cè)試，重新打包使用。

像我們之前用了 XXL-JOB 做任務(wù)調(diào)度，也是修改了某些代碼，在界面上擴(kuò)展了監(jiān)控通知的配置信息，默認(rèn)是只支持郵箱，可以擴(kuò)展出手機(jī)，釘釘?shù)取?/p>

修改源碼不好的點(diǎn)在于需要跟原框架的版本進(jìn)行對(duì)齊，如果不對(duì)齊，隨便改都沒(méi)事。不對(duì)齊意味著修復(fù)了某些 bug 和新增了某些功能，就無(wú)法使用了。要對(duì)齊，就需要不斷的將新版本的代碼合并到你自己的分支上。

還有很多公司，就是基于開(kāi)源的版本，構(gòu)建了公司內(nèi)部自己的版本，后續(xù)直接就是跟著內(nèi)部的使用需求去擴(kuò)展和維護(hù)了，不會(huì)跟社區(qū)的版本進(jìn)行同步，如果你們有專門的團(tuán)隊(duì)去做這件事情，也是一種方式。

同名文件覆蓋

改源碼的方式需要經(jīng)常同步新版本的代碼，有的時(shí)候往往只想修改某一個(gè)類而已，比如對(duì)底層的某些操作進(jìn)行埋點(diǎn)監(jiān)控，如果框架本身沒(méi)有提供擴(kuò)展點(diǎn)的話只能改源碼來(lái)實(shí)現(xiàn)。

其實(shí)還有個(gè)投機(jī)取巧的方式，就是在項(xiàng)目中創(chuàng)建一個(gè)跟你要修改的一模一樣的類，包名+類目都一樣，方法名也一樣，方法的實(shí)現(xiàn)你可以改。這樣就能覆蓋 jar 包中的類了，還是跟類加載順序有關(guān)系，先加載你自己定義的。

這樣的方式好處在于不用經(jīng)常去同步新版本的代碼，如果你用的框架版本升級(jí)了，只要包名和類名不變，你這個(gè)覆蓋的只是那個(gè)類而已，新增的功能和修復(fù)的 bug 都不會(huì)有影響。

切面攔截

切面在做很多統(tǒng)一處理的時(shí)候非常有用，同樣在做底層埋點(diǎn)的場(chǎng)景也適用。

比如我們要對(duì)項(xiàng)目中 Mongodb 的所有操作都進(jìn)行埋點(diǎn)監(jiān)控，可以修改 MongoDB 的驅(qū)動(dòng)源碼，可以創(chuàng)建同名文件進(jìn)行覆蓋，方式有很多種，找到一個(gè)合適，又能實(shí)現(xiàn)需求的最重要。

以 Spring 中操作 Mongodb 來(lái)說(shuō)明，在 Spring Data Mongodb 中會(huì) MongoTemplate 來(lái)操作 Mongodb。最簡(jiǎn)單的方式就是直接對(duì) MongoTemplate 類進(jìn)行埋點(diǎn)，這樣所有的操作都可以監(jiān)控起來(lái)。

用切面直接切到 MongoTemplate 的所有方法上，然后進(jìn)行埋點(diǎn)，就很簡(jiǎn)單了。

@Aspect
public class MongoTemplateAspect {
    @Pointcut("execution(* org.springframework.data.mongodb.core.MongoTemplate.*(..))")
    public void pointcut() {}
    @Around("pointcut()")
    public Object around(final ProceedingJoinPoint pjp) throws Throwable {
        String callMethod = pjp.getSignature().getDeclaringType().getSimpleName() + "." + pjp.getSignature().getName();
        Map data = new HashMap<>();
        data.put("params", JsonUtils.toJson(pjp.getArgs()));
        return CatTransactionManager.newTransaction(() -> {
            try {
                return pjp.proceed();
            } catch (Throwable throwable) {
                throw new RuntimeException(throwable);
            }
        }, "Mongo", callMethod, data);
    }
}

又比如，你還想監(jiān)控 Redis 相關(guān)的，Redis 用的也是跟 Spring 整合的框架，那么也有 RedisTemplate 這個(gè)類，同樣也可以用切面來(lái)實(shí)現(xiàn)。

基于 Template 類來(lái)埋點(diǎn)，相對(duì)比較上層，如果還想在底層一點(diǎn)進(jìn)行監(jiān)控，也就是 Connection 這層，Template 里面的操作都是基于 Connection 來(lái)實(shí)現(xiàn)的。

同樣我們可以用切面來(lái)替換 Connection 相關(guān)的實(shí)現(xiàn)，比如可以用切面切到獲取 Connection 的方法，然后替換 Connection 的對(duì)象為具備埋點(diǎn)監(jiān)控的對(duì)象。

@Aspect
public class RedisAspect {
    @Pointcut("target(org.springframework.data.redis.connection.RedisConnectionFactory)")
    public void connectionFactory() {}
    @Pointcut("execution(org.springframework.data.redis.connection.RedisConnection *.getConnection(..))")
    public void getConnection() {}
    @Pointcut("execution(org.springframework.data.redis.connection.RedisClusterConnection *.getClusterConnection(..))")
    public void getClusterConnection() {}
    @Around("getConnection() && connectionFactory()")
    public Object aroundGetConnection(final ProceedingJoinPoint pjp) throws Throwable {
        RedisConnection connection = (RedisConnection) pjp.proceed();
        return new CatMonitorRedisConnection(connection);
    }
    @Around("getClusterConnection() && connectionFactory()")
    public Object aroundGetClusterConnection(final ProceedingJoinPoint pjp) throws Throwable {
        RedisClusterConnection clusterConnection = (RedisClusterConnection) pjp.proceed();
        return new CatMonitorRedisClusterConnection(clusterConnection);
    }
}

CatMonitorRedisConnection 中對(duì)原生的 RedisConnection 做了增強(qiáng)，也不會(huì)影響原有的 RedisConnection 的功能。

public class CatMonitorRedisConnection implements RedisConnection {
    private final RedisConnection connection;
    private CatMonitorHelper catMonitorHelper;
    public CatMonitorRedisConnection(RedisConnection connection) {
        this.connection = connection;
        this.catMonitorHelper = new CatMonitorHelper();
    }

    @Override
    public byte[] get(byte[] key) {
        return catMonitorHelper.execute(RedisCommand.GET, key, () -> connection.get(key));
    }
}

Java Agent

Java Agent 可以在運(yùn)行期將已經(jīng)加載的類的字節(jié)碼進(jìn)行變更，可以加入我們需要進(jìn)行監(jiān)控的代碼邏輯。無(wú)需對(duì)原有代碼進(jìn)行改造，零侵入性。

在非常多優(yōu)秀的開(kāi)源框架中都看到了 Java Agent 的應(yīng)用，像 APM 框架 SkyWalking，異步傳遞上下文 transmittable-thread-local 等。

Java Agent 相對(duì)其他的方式來(lái)說(shuō)，還是有一定的門檻，畢竟不是日常開(kāi)發(fā)中經(jīng)常會(huì)用到的技術(shù)點(diǎn)。如果想了解這種擴(kuò)展方式，可以看看一些已經(jīng)用了的開(kāi)源框架的源碼，就知道大概怎么使用了。下面貼一段 transmittable-thread-local 中對(duì)線程池進(jìn)行擴(kuò)展的代碼吧，主要就是利用了 javassist 操作字節(jié)碼。

try {
final CtMethod afterExecute = clazz.getDeclaredMethod("afterExecute", new CtClass[]{runnableClass, throwableClass});
// unwrap runnable if IsAutoWrapper
String code = "$1 = com.alibaba.ttl.threadpool.agent.internal.transformlet.impl.Utils.unwrapIfIsAutoWrapper($1);";
logger.info("insert code before method " + signatureOfMethod(afterExecute) + " of class " + afterExecute.getDeclaringClass().getName() + ": " + code);
afterExecute.insertBefore(code);
modified = true;
} catch (NotFoundException e) {
// clazz does not override afterExecute method, do nothing.
}

關(guān)于作者：尹吉?dú)g，簡(jiǎn)單的技術(shù)愛(ài)好者，《Spring Cloud 微服務(wù)-全棧技術(shù)與案例解析》, 《Spring Cloud 微服務(wù) 入門 實(shí)戰(zhàn)與進(jìn)階》作者, 公眾號(hào)猿天地發(fā)起人。

我整理了一份很全的學(xué)習(xí)資料，感興趣的可以微信搜索「猿天地」，回復(fù)關(guān)鍵字 「學(xué)習(xí)資料」獲取我整理好了的 Spring Cloud，Spring Cloud Alibaba，Sharding-JDBC 分庫(kù)分表，任務(wù)調(diào)度框架 XXL-JOB，MongoDB，爬蟲(chóng)等相關(guān)資料。