<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          細數(shù) ThreadLocal 三大坑,內(nèi)存泄露僅是小兒科!

          共 9662字,需瀏覽 20分鐘

           ·

          2021-05-29 09:23

          點擊關(guān)注公眾號,Java干貨及時送達

          本文轉(zhuǎn)自公眾號:苦味代碼

          我在參加Code Review的時候不止一次聽到有同學(xué)說:我寫的這個上下文工具沒問題,在線上跑了好久了。其實這種想法是有問題的,ThreadLocal寫錯難,但是用錯就很容易,本文將會詳細總結(jié)ThreadLocal容易用錯的三個坑:

          • 內(nèi)存泄露
          • 線程池中線程上下文丟失
          • 并行流中線程上下文丟失

          內(nèi)存泄露

          由于ThreadLocalkey是弱引用,因此如果使用后不調(diào)用remove清理的話會導(dǎo)致對應(yīng)的value內(nèi)存泄露。

          @Test
          public void testThreadLocalMemoryLeaks() {
              ThreadLocal<List<Integer>> localCache = new ThreadLocal<>();
             List<Integer> cacheInstance = new ArrayList<>(10000);
              localCache.set(cacheInstance);
              localCache = new ThreadLocal<>();
          }

          當(dāng)localCache的值被重置之后cacheInstanceThreadLocalMap中的value引用,無法被GC,但是其keyThreadLocal實例的引用是一個弱引用,本來ThreadLocal的實例被localCacheThreadLocalMapkey同時引用,但是當(dāng)localCache的引用被重置之后,則ThreadLocal的實例只有ThreadLocalMapkey這樣一個弱引用了,此時這個實例在GC的時候能夠被清理。

          其實看過ThreadLocal源碼的同學(xué)會知道,ThreadLocal本身對于keynullEntity有自清理的過程,但是這個過程是依賴于后續(xù)對ThreadLocal的繼續(xù)使用,假如上面的這段代碼是處于一個秒殺場景下,會有一個瞬間的流量峰值,這個流量峰值也會將集群的內(nèi)存打到高位(或者運氣不好的話直接將集群內(nèi)存打滿導(dǎo)致故障),后面由于峰值流量已過,對ThreadLocal的調(diào)用也下降,會使得ThreadLocal的自清理能力下降,造成內(nèi)存泄露。ThreadLocal的自清理是錦上添花,千萬不要指望他雪中送碳。

          相比于ThreadLocal中存儲的value對象泄露,ThreadLocal用在web容器中時更需要注意其引起的ClassLoader泄露。

          Tomcat官網(wǎng)對在web容器中使用ThreadLocal引起的內(nèi)存泄露做了一個總結(jié),詳見:https://cwiki.apache.org/confluence/display/tomcat/MemoryLeakProtection,這里我們列舉其中的一個例子。

          熟悉Tomcat的同學(xué)知道,Tomcat中的web應(yīng)用由Webapp Classloader這個類加載器的,并且Webapp Classloader是破壞雙親委派機制實現(xiàn)的,即所有的web應(yīng)用先由Webapp classloader加載,這樣的好處就是可以讓同一個容器中的web應(yīng)用以及依賴隔離。

          下面我們看具體的內(nèi)存泄露的例子:

          public class MyCounter {
           private int count = 0;

           public void increment() {
            count++;
           }

           public int getCount() {
            return count;
           }
          }

          public class MyThreadLocal extends ThreadLocal<MyCounter{
          }

          public class LeakingServlet extends HttpServlet {
           private static MyThreadLocal myThreadLocal = new MyThreadLocal();

           protected void doGet(HttpServletRequest request,
             HttpServletResponse response)
           throws ServletException, IOException 
          {

            MyCounter counter = myThreadLocal.get();
            if (counter == null) {
             counter = new MyCounter();
             myThreadLocal.set(counter);
            }

            response.getWriter().println(
              "The current thread served this servlet " + counter.getCount()
                + " times");
            counter.increment();
           }
          }

          需要注意這個例子中的兩個非常關(guān)鍵的點:

          • MyCounter以及MyThreadLocal必須放到web應(yīng)用的路徑中,保被Webapp Classloader加載
          • ThreadLocal類一定得是ThreadLocal的繼承類,比如例子中的MyThreadLocal,因為ThreadLocal本來被Common Classloader加載,其生命周期與Tomcat容器一致。ThreadLocal的繼承類包括比較常見的NamedThreadLocal,注意不要踩坑。

          假如LeakingServlet所在的Web應(yīng)用啟動,MyThreadLocal類也會被Webapp Classloader加載,如果此時web應(yīng)用下線,而線程的生命周期未結(jié)束(比如為LeakingServlet提供服務(wù)的線程是一個線程池中的線程),那會導(dǎo)致myThreadLocal的實例仍然被這個線程引用,而不能被GC,期初看來這個帶來的問題也不大,因為myThreadLocal所引用的對象占用的內(nèi)存空間不太多,問題在于myThreadLocal間接持有加載web應(yīng)用的webapp classloader的引用(通過myThreadLocal.getClass().getClassLoader()可以引用到),而加載web應(yīng)用的webapp classloader有持有它加載的所有類的引用,這就引起了Classloader泄露,它泄露的內(nèi)存就非??捎^了。

          線程池中線程上下文丟失

          ThreadLocal不能在父子線程中傳遞,因此最常見的做法是把父線程中的ThreadLocal值拷貝到子線程中,因此大家會經(jīng)??吹筋愃葡旅娴倪@段代碼:

          for(value in valueList){
               Future<?> taskResult = threadPool.submit(new BizTask(ContextHolder.get()));//提交任務(wù),并設(shè)置拷貝Context到子線程
               results.add(taskResult);
          }
          for(result in results){
              result.get();//阻塞等待任務(wù)執(zhí)行完成
          }

          提交的任務(wù)定義長這樣:

          class BizTask<Timplements Callable<T>  {
              private String session = null;
              
              public BizTask(String session) {
                  this.session = session;
              }
              
              @Override
              public T call(){
                  try {
                      ContextHolder.set(this.session);
                      // 執(zhí)行業(yè)務(wù)邏輯
                  } catch(Exception e){
                      //log error
                  } finally {
                      ContextHolder.remove(); // 清理 ThreadLocal 的上下文,避免線程復(fù)用時context互串
                  }
                  return null;
              }
          }

          對應(yīng)的線程上下文管理類為:

          class ContextHolder {
              private static ThreadLocal<String> localThreadCache = new ThreadLocal<>();
              
              public static void set(String cacheValue) {
                  localThreadCache.set(cacheValue);
              }
              
              public static String get() {
                  return localThreadCache.get();
              }
              
              public static void remove() {
                  localThreadCache.remove();
              }
              
          }

          這么寫倒也沒有問題,我們再看看線程池的設(shè)置:

          ThreadPoolExecutor executorPool = new ThreadPoolExecutor(204030, TimeUnit.SECONDS, new LinkedBlockingQueue<Runnable>(40), new XXXThreadFactory(), ThreadPoolExecutor.CallerRunsPolicy);

          其中最后一個參數(shù)控制著當(dāng)線程池滿時,該如何處理提交的任務(wù),內(nèi)置有4種策略

          ThreadPoolExecutor.AbortPolicy //直接拋出異常
          ThreadPoolExecutor.DiscardPolicy //丟棄當(dāng)前任務(wù)
          ThreadPoolExecutor.DiscardOldestPolicy //丟棄工作隊列頭部的任務(wù)
          ThreadPoolExecutor.CallerRunsPolicy //轉(zhuǎn)串行執(zhí)行

          可以看到,我們初始化線程池的時候指定如果線程池滿,則新提交的任務(wù)轉(zhuǎn)為串行執(zhí)行,那我們之前的寫法就會有問題了,串行執(zhí)行的時候調(diào)用ContextHolder.remove();會將主線程的上下文也清理,即使后面線程池繼續(xù)并行工作,傳給子線程的上下文也已經(jīng)是null了,而且這樣的問題很難在預(yù)發(fā)測試的時候發(fā)現(xiàn)。

          并行流中線程上下文丟失

          如果ThreadLocal碰到并行流,也會有很多有意思的事情發(fā)生,比如有下面的代碼:

          class ParallelProcessor<T{
              
              public void process(List<T> dataList) {
                  // 先校驗參數(shù),篇幅限制先省略不寫
                  dataList.parallelStream().forEach(entry -> {
                      doIt();
                  });
              }
              
              private void doIt() {
                  String session = ContextHolder.get();
                  // do something
              }
          }

          這段代碼很容易在線下測試的過程中發(fā)現(xiàn)不能按照預(yù)期工作,因為并行流底層的實現(xiàn)也是一個ForkJoin線程池,既然是線程池,那ContextHolder.get()可能取出來的就是一個null。我們順著這個思路把代碼再改一下:

          class ParallelProcessor<T{
              
              private String session;
              
              public ParallelProcessor(String session) {
                  this.session = session;
              }
              
              public void process(List<T> dataList) {
                  // 先校驗參數(shù),篇幅限制先省略不寫
                  dataList.parallelStream().forEach(entry -> {
                      try {
                          ContextHolder.set(session);
                          // 業(yè)務(wù)處理
                          doIt();
                      } catch (Exception e) {
                          // log it
                      } finally {
                          ContextHolder.remove();
                      }
                  });
              }
              
              private void doIt() {
                  String session = ContextHolder.get();
                  // do something
              }
          }

          修改完后的這段代碼可以工作嗎?如果運氣好,你會發(fā)現(xiàn)這樣改又有問題,運氣不好,這段代碼在線下運行良好,這段代碼就順利上線了。不久你就會發(fā)現(xiàn)系統(tǒng)中會有一些其他很詭異的bug。原因在于并行流的設(shè)計比較特殊,父線程也有可能參與到并行流線程池的調(diào)度,那如果上面的process方法被父線程執(zhí)行,那么父線程的上下文會被清理。導(dǎo)致后續(xù)拷貝到子線程的上下文都為null,同樣產(chǎn)生丟失上下文的問題。






          關(guān)注Java技術(shù)??锤喔韶?/strong>



          獲取 Spring Boot 實戰(zhàn)筆記!
          瀏覽 41
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  激情乱伦视频 | 亚洲国产精品VA在线看黑人 | 色欲影视淫香淫色 | 91AV精品| 天天透天天日 |