ZGC關(guān)鍵技術(shù)分析

目錄

一、引言

二、ZGC術(shù)語

三、ZGC性能數(shù)據(jù)

四、ZGC關(guān)鍵特性

    1. 著色指針(Colored Pointer)

    2. 讀屏障(Load Barrier)

五、ZGC執(zhí)行周期

    1. 初始標(biāo)記(STW1)

    2. 并發(fā)標(biāo)記(M/R)

    3. 再標(biāo)記階段(STW2)

    4. 并發(fā)轉(zhuǎn)移準(zhǔn)備(EC)

    5. 初始轉(zhuǎn)移(STW3)

    6. 并發(fā)轉(zhuǎn)移（RE）

六、Z GC算法演示

七、總結(jié)

一

引言

垃圾回收對于Javaer來說是一個繞不開的話題，工作中涉及到的調(diào)優(yōu)工作也經(jīng)常圍繞垃圾回收器展開。面對不同的業(yè)務(wù)場景沒有一個統(tǒng)一的垃圾回收器能保證可GC性能。因此對程序員來說不僅要會編寫業(yè)務(wù)代碼，同時也要卷一下JVM底層原理和調(diào)優(yōu)知識。這種局面可能因為ZGC的出現(xiàn)而發(fā)生改變，新一代回收器ZGC幾乎不需要調(diào)優(yōu)的情況下GC停頓時間可以降低到亞秒級。

Oracle從JDK11開始正式引入ZGC，ZGC設(shè)計三大目標(biāo)：

• 支持TB級內(nèi)存 (8M~4TB) 。

• 停頓時間控制在10ms之內(nèi) (生產(chǎn)環(huán)境實際觀測在微秒級) ，停頓不會隨著堆的大小，或者活躍對象的大小而增加。

• 對程序吞吐量影響小于15%。

ZGC是如何設(shè)計怎么達(dá)到這個目標(biāo)的呢？本文將從ZGC算法的關(guān)鍵特性入手，通過分析ZGC周期處理過程來理解這些特性，探索ZGC設(shè)計思想。

二

ZGC術(shù)語

非分代 ： 將對內(nèi)存劃分為新生代和老年代 (G1已經(jīng)邏輯分代) ，ZGC取消分代設(shè)計，每個GC周期都將標(biāo)記整個堆中的所有活動對象。

頁面：ZGC將堆空間分解成一塊塊區(qū)域，這些區(qū)域叫做頁面，ZGC通過頁面來回收內(nèi)存。

并發(fā)性：GC和線程和業(yè)務(wù)線程同時運行。ZGC的高度并發(fā)設(shè)計，幾乎所有GC工作、標(biāo)記和堆碎片整理都是和業(yè)務(wù)線程 (mutators) 同時運行的，只包含了短暫的STW同步暫停。

并行：多個線程進(jìn)行GC線程同時工作，加快回收速度。

標(biāo)記-復(fù)制 算法： 標(biāo)記-復(fù)制算法主要包括以下3個過程。

• 標(biāo)記階段，即從GC Roots集合開始，分析對象可達(dá)性，標(biāo)記出活躍對象。

圖1：可達(dá)性分析后對象的引用狀態(tài)

• 對象轉(zhuǎn)移階段，即把活躍對象復(fù)制到新的內(nèi)存地址上。

• 重定位階段，因為轉(zhuǎn)移導(dǎo)致對象的地址發(fā)生了變化，在重定位階段，所有指向?qū)ο笈f地址的指針都要調(diào)整到對象新的地址上。

標(biāo)記-復(fù)制算法的最大優(yōu)勢就是防止堆內(nèi)存碎片化的出現(xiàn)，復(fù)制的過程就可以對堆內(nèi)存進(jìn)行整理。ZGC、CMS和G1都是采用了標(biāo)記-復(fù)制算法，但是不同的實現(xiàn)導(dǎo)致了很大的性能差異。

三

ZGC性能數(shù)據(jù)

ZGC設(shè)計致力于提供幾毫秒的最大暫停時間，同時保證吞吐量不受影響。 下面是SPECjbb2015針對OpenJDK中的不同收集器運行的性能測試數(shù)據(jù)。 在128G堆內(nèi)存下，無論是延遲還是吞吐量上面ZGC的性能表現(xiàn)都高于其他收集器。

圖2：SPECjbb2015GC性能評分

圖3: SPECjbb2015GC延遲比較

四

ZGC關(guān)鍵特性

ZGC的周期是高度并發(fā)的，并發(fā)性越高意味著GC工作時對業(yè)務(wù)線程的影響越小，SPECjbb2015的性能報告可以看出ZGC在延遲上比G1低10倍以上，ZGC的工作周期只有三個階段是STW的，其他階段完全并發(fā)。 這得益于ZGC在堆視圖并發(fā)一致性設(shè)計上的改進(jìn)。 我們都清楚在并發(fā)的場景下需要協(xié)調(diào)各個線程對共享資源達(dá)成一致性，常用的手段就是對資源加鎖，而在垃圾回收器下的思路也是類似，如果GC線程工作是需要鎖定對象資源進(jìn)行處理，業(yè)務(wù)線程則需要全部暫停，這就產(chǎn)生了STW (Stop The Word) 。 以往的垃圾回收器都是讓GC線程和業(yè)務(wù)線程就堆中對象地址達(dá)成一致，對象在發(fā)生轉(zhuǎn)移時業(yè)務(wù)線程是不能訪問的 (因為對象的地址發(fā)生了變化) ，無論G1還是CMS對象在進(jìn)行復(fù)制時都是需要STW。 ZGC使用到的著色指針（Colored Pointer）和讀屏障（Load Barrier）技術(shù)，可以讓所有線程在并發(fā)的條件下就指針的顏色 (狀態(tài)) 達(dá)成一致，而不是對象地址。 因此，ZGC可以并發(fā)的復(fù)制對象，這大大的降低了GC的停頓時間。 我們先對著色指針和讀屏障有個初步的理解，然后在通過ZGC回收周期來看這2項技術(shù)的具體運用。

著色指針(Colored Pointer)

在指針中嵌入元數(shù)據(jù)（使用地址中的高階位來實現(xiàn)），這種通過在指針存儲元數(shù)據(jù)的技術(shù)就叫做著色指針 (Colored Pointer) 。ZGC中指針始終是64位結(jié)構(gòu)，由元位（指針的顏色）和地址位組成。地址位數(shù)決定了理論上支持的最大堆大小，ZGC使用42位存儲地址也就意味著ZGC最大支持4TB堆內(nèi)存。如圖所示，低42位是地址位，中間4位是元位，高18位未使用。四個元位是Finalized ( F )、Remapped ( R )、Marked1 ( M1 ) 和Marked0 ( M0 )。

圖4: 64位地址使用示意圖

ZGC中將指定上的標(biāo)記通過顏色來表示，顏色可以是“good” (地址有效) 或“bad” (地址可能無效) 。指針的顏色由其元位的狀態(tài)決定：F、R、M1和M0?！癵ood”是R、M1、M0元位中的一個被設(shè)置，另外三個未設(shè)置，比如0100、0010和 0001屬于“good”顏色。通過在指針上的顏色就能區(qū)分出對象狀態(tài)，不用額外做內(nèi)存訪問，這使得ZGC在標(biāo)記和轉(zhuǎn)移階段會更快。

通過設(shè)置地址元位的狀態(tài)，可以形成不同地址視圖，ZGC同一物理堆內(nèi)存被映射到虛擬地址空間三次，從而產(chǎn)生同一物理內(nèi)存的三個“視圖”，GC活動的不同時期會只存在一個活躍視圖，根據(jù)垃圾回收的周期ZGC通過切換不同視圖標(biāo)來記出對象的顏色。

下圖是虛擬地址的空間劃分：

圖5：虛擬地址空間劃分和多視圖映射

[0~4TB) 對應(yīng)Java堆；

[4TB ~ 8TB) 稱為M0地址空間；

[8TB ~ 12TB) 稱為M1地址空間；

[12TB ~ 16TB) 預(yù)留未使用；

[16TB ~ 20TB) 稱為Remapped空間。

ZGC是不分代的，這意味著垃圾回收是需要掃描整個堆空間，地址視圖將整個Java堆分成多個部分，并為每個部分分配一個虛擬內(nèi)存段。在垃圾回收時，ZGC只需要掃描其中一個虛擬內(nèi)存段，并將其作為當(dāng)前視圖映射到實際的內(nèi)存位置。同時，ZGC會將其他虛擬內(nèi)存段映射到虛擬地址上，這些內(nèi)存段不會被收集器掃描。

讀屏障(Load Barrier)

ZGC 通過利用讀屏障而不是寫入屏障，與HotSpot JVM中以前的GC (CMS，G1等) 算法顯著不同。 讀屏障解決了并發(fā)轉(zhuǎn)移時對象指針更新問題： 在轉(zhuǎn)移期間，如果移動對象而不用更新引用對象的傳入指針（移動的對象可能被堆中的任何其他對象所引用），就會產(chǎn)生懸空指針 (已經(jīng)被釋放的內(nèi)存空間或者無效的內(nèi)存地址，訪問懸空指針會出現(xiàn)問題) 。 通過讀屏障技術(shù)能夠捕獲此類懸空指針對象，并觸發(fā)代碼，更新對象的新位置，從而“修復(fù)”懸空指針。 為了跟蹤對象如何移動，以便在加載時固定懸空指針，ZGC中使用轉(zhuǎn)發(fā)表 (forwarding tables ) 來將重定位前（舊）地址映射到重定位后（新）地址。 無論是業(yè)務(wù)線程作為使用者訪問對象，還是GC線程遍歷堆中的所有活動對象（在標(biāo)記期間）都有可能會觸發(fā)讀屏障。

ZGC讀屏障如何實現(xiàn)呢？舉個例子，代碼 var x = obj.field 。x是一個位于堆棧上的局部變量，field是一個位于堆上的指針。業(yè)務(wù)線程在操作堆對象時觸發(fā)讀屏障。讀屏障的執(zhí)行路徑有快 (fast path) 和慢 (slow path) 兩種，如果正在加載的指針有效狀態(tài) (good color) ，則采用加載屏障的快速路徑，否則，采用慢速路徑?？焖俾窂綄嶋H上是空的，而慢速路徑包含計算有效狀態(tài)指針的邏輯：檢查對象是否已經(jīng)（或即將）重新定位，如果是，則查找或生成新的地址。讀屏障除了能讓觸發(fā)讀屏障的線程讀取到最新地址，同時還具有自我修復(fù)指針（self-healed）的功能，這意味著讀屏障會修改指針的狀態(tài)，以便后續(xù)其他線程訪問時能執(zhí)行快速路徑。無論采用哪條路徑，都會返回正確狀態(tài)的地址。下面用偽代碼表示ZGC在執(zhí)行讀屏障時的大體邏輯：

        
          
            /**
          
        
        
          
            slot 是值線程棧中的局部變量，也就是屏障要操作的目標(biāo)對象
          
        
        
          
            */
          
        
        
          unintptr_t barrier(unintptr_t *slot,unintptr_t addr){
        
        
              //快速路徑,fast path
        
        
              if(is_good_or_null(addr))return addr;
        
        
              //慢速路徑,slow path
        
        
              good_addr = process(addr);
        
        
              //自我修復(fù)
        
        
              self_heal(slot,addr,good_addr);
        
        
              return good_addr;
        
        
          }
        
        
          
            /*
          
        
        
          
            自我修復(fù)，將指針恢復(fù)到正常狀態(tài)
          
        
        
          
            */
          
        
        
          void self_heal(unintptr_t *slot,unintptr_t old_addr,unintptr_t new_addr){
        
        
              if(new_addr == 0)return;
        
        
              while(true){
        
        
                  if(CAS(slot,&old_addr,new_addr)
        
        
                  return;
        
        
                  if(is_good_or_null(old_addr))
        
        
                  return;
        
        
              }
        
        
          }
        
      

ZGC的讀屏障可能被GC線程和業(yè)務(wù)線程觸發(fā)，并且只會在訪問堆內(nèi)對象時觸發(fā)，訪問的對象位于GC Roots時不會觸發(fā)，這也是掃描GC Roots時需要STW的原因。

下面是一個簡化的示例代碼，展示了讀屏障的觸發(fā)時機。

        
          Object o = obj.FieldA   // 從堆中讀取引用，需要加入屏障
        
        
          <Load barrier>
        
        
          Object p = o  // 無需加入屏障，因為不是從堆中讀取引用
        
        
          o.dosomething() // 無需加入屏障，因為不是從堆中讀取引用
        
        
          int i =  obj.FieldB  //無需加入屏障，因為不是對象引用
        
      

五

ZGC執(zhí)行周期

如下圖 所示，ZGC 周期由三個 STW 暫停和四個并發(fā)階段組成： 標(biāo)記/重新映射( M/R )、并發(fā)引用處理( RP )、并發(fā)轉(zhuǎn)移準(zhǔn)備( EC ) 和并發(fā)轉(zhuǎn)移( RE )。 為了讀者能快速理解，下面對ZGC執(zhí)行過程進(jìn)行了大量簡化。
圖6：ZGC周期表示

初始標(biāo)記(STW1)

Z GC 初始標(biāo)記執(zhí)行包含三個主要任務(wù)。

• 地址視圖被設(shè)置成M0 (或M1) ，M0還是M1根據(jù)前一周期交替設(shè)置的。

• 重新分配新的頁面給業(yè)務(wù)線程創(chuàng)建對象，ZGC只會處理當(dāng)前周期之前分配的頁面。

• 初始標(biāo)記只會存活的根對象被標(biāo)記為M0 (M1) ，并被加入標(biāo)記棧進(jìn)行并發(fā)標(biāo)記。

GC 周期中地址視圖窗口

圖7：ZGC周期中狀態(tài)窗口劃分

并發(fā)標(biāo)記(M/R)

并 發(fā)標(biāo)記的任務(wù)有2個：

第一，并發(fā)標(biāo)記線程從待標(biāo)記的對象列表出發(fā)，根據(jù)對象引用關(guān)系圖遍歷對象的成員變量，遞歸進(jìn)行標(biāo)記。

第二，計算，并更新關(guān)聯(lián)頁面的活躍度信息?；顒有畔⑹琼撁嫔系幕顒幼止?jié)數(shù)，用于選擇將要回收的頁面，這些對象將作為堆碎片整理的一部分進(jìn)行重新定位。

下面?zhèn)未a是并發(fā)標(biāo)記的主要過程：

        
          while(obj in mark_stack){
        
        
              //標(biāo)記存活對象,當(dāng)且僅當(dāng)該對象未被標(biāo)記并且當(dāng)前線程成功標(biāo)記該對象時才返回true
        
        
              success = mark_obj(obj);
        
        
              if(success){
        
        
                  for(e in obj->ref_fields()){
        
        
                      MarkBarrier(slot_of_e,e);
        
        
                  }
        
        
              }
        
        
          }
        
        
          
            //GC線程調(diào)用
          
        
        
          
            //EC是待回收頁面的集合
          
        
        
          void MarkBarrier(uintptr_t *slot,unintptr_t addr){
        
        
              if(is_null(addr))return;
        
        
              //判斷是否在待回收集合內(nèi)
        
        
              if(is_pointing_into(addr,EC)){
        
        
                  //地址重映射到當(dāng)前GC視圖
        
        
                  good_addr = remap(addr);
        
        
              } else {
        
        
                  good_addr = good_color(addr);
        
        
              }
        
        
              //訪問的對象添加到標(biāo)記棧
        
        
              mark_stack->add(good_addr);
        
        
              self_heal(slot,addr,good_addr);
        
        
          }
        
        
          
            

        
        
          
            //讀屏障前面有介紹過，由業(yè)務(wù)線程調(diào)用
          
        
        
          void LoadBarrier(uintptr_t *slot,unintptr_t addr){
        
        
              if(is_null(addr))return;
        
        
              if(is_pointing_into(addr,EC)){
        
        
                  good_addr = remap(addr);
        
        
              } else {
        
        
                  good_addr = good_color(addr);
        
        
              }
        
        
              mark_stack->add(good_addr);
        
        
              self_heal(slot,addr,good_addr);
        
        
              return good_addr;
        
        
          }
        
      

代碼片段顯示了并發(fā)標(biāo)記階段的GC線程主循環(huán)。 mark_obj()當(dāng)且僅當(dāng)該對象未被標(biāo)記并且當(dāng)前線程成功標(biāo)記該對象時才返回 true。 它在內(nèi)部使用原子操作(compare and swap,CAS)來設(shè)置位圖中的位，因此它是線程安全的。 MarkBarrier()遍歷該對象的成員屬性，完成對象引用的標(biāo)記。 并發(fā)標(biāo)記時業(yè)務(wù)線程也在運行，此前如果業(yè)務(wù)線程訪問對象將執(zhí)行LoadBarrier()協(xié)助GC線程完成對象標(biāo)記。

再標(biāo)記階段(STW2)

再標(biāo)記階段的主要任務(wù)有3個：

• 執(zhí)行修復(fù)任務(wù)，指線程運行C2編譯的代碼，在進(jìn)入再標(biāo)記階段時可能發(fā)生漏標(biāo)。

• 結(jié)束標(biāo)記，并發(fā)標(biāo)記后業(yè)務(wù)線程本地標(biāo)記?？赡艽嬖诖龢?biāo)記的對象，執(zhí)行本步驟的目的就是對這些待標(biāo)記對象進(jìn)行標(biāo)記。

• 執(zhí)行部分非強根并行標(biāo)記。

并發(fā)轉(zhuǎn)移準(zhǔn)備(EC)

并發(fā)轉(zhuǎn)移準(zhǔn)備任務(wù)：

• 篩選所有可以被回收的頁面

• 選擇垃圾比較多的頁面作為頁面轉(zhuǎn)移集

初始轉(zhuǎn)移(STW3)

初始轉(zhuǎn)移主要以下過程：

• 調(diào)整地址視圖：將地址視圖從M0或者M(jìn)1調(diào)整為Remapped，說明進(jìn)入真正的轉(zhuǎn)移，此后所有分配的對象視圖都是Remapped。

• 重定位TLAB：因為地址視圖調(diào)整，所以要調(diào)整TLAB中地址的視圖。

• 開始轉(zhuǎn)移：從根集合出發(fā)，遍歷根對象的直接引用的對象，對這些對象進(jìn)行轉(zhuǎn)移。

初始轉(zhuǎn)移是STW的，其處理時間和GC Roots的數(shù)量成正比，一般情況耗時非常短。

并發(fā)轉(zhuǎn)移（RE）

初始轉(zhuǎn)移完成了GC Roots對象重定位，在并發(fā)轉(zhuǎn)移階段將對前面步驟確定的轉(zhuǎn)移集 (EC) ，對轉(zhuǎn)移集的每一頁執(zhí)行轉(zhuǎn)移。

并發(fā)轉(zhuǎn)移的過程可以抽象成如下偽代碼過程：

        
          
            //GC線程主循環(huán)遍歷EC的頁面，將個將EC集頁面中對象進(jìn)行轉(zhuǎn)移
          
        
        
          for (page in EC){
        
        
              for(obj in page){
        
        
                  relocate(obj);
        
        
              }
        
        
          }
        
        
          
            //該方法GC和業(yè)務(wù)線程都有可能執(zhí)行,如果是業(yè)務(wù)線程訪問對象會先進(jìn)行轉(zhuǎn)移在進(jìn)行操作
          
        
        
          unintptr_t relocate(unintptr_t obj) {
        
        
              //獲取對象的地址轉(zhuǎn)發(fā)表
        
        
              ft = forwarding_tables_get(obj);
        
        
              if (ft->exist(obj)){
        
        
                  return ft->get(obj);
        
        
              }
        
        
              new_obj = copy(obj);
        
        
              //CAS寫對象轉(zhuǎn)發(fā)表數(shù)據(jù)
        
        
              if(ft->insert(obj,new_obj)){
        
        
                  return new_obj;
        
        
              }
        
        
              //CAS發(fā)生競爭，寫轉(zhuǎn)發(fā)表失敗，釋放分配的內(nèi)存
        
        
              dealloc(new_obj)
        
        
              return ft->get(obj);
        
        
          }
        
      

轉(zhuǎn)發(fā)表的作用是存儲對轉(zhuǎn)移后舊地址到新地址的映射，轉(zhuǎn)發(fā)表的數(shù)據(jù)存儲在頁面中，轉(zhuǎn)移完成的頁面即可被回收掉。

并發(fā)轉(zhuǎn)移完成之后整個ZGC周期完成。

六

ZGC算法演示

為了說明ZGC算法，下圖演示了示例中的所有階段。

圖8：ZGC算法演示

圖8(1)顯示了堆的初始狀態(tài)，應(yīng)用啟動后ZGC完成了初始化。

在圖8(2)中，選擇M0作為全局標(biāo)記，并且所有根指針都被標(biāo)記成M0。然后，所有根都被推送到標(biāo)記堆棧，該標(biāo)記堆棧在并發(fā)標(biāo)記 (M/R) 期間由GC線程消耗。

如圖8(3)所示，圖中用合適的顏色繪制對象本身，以表明它們已被標(biāo)記，即使指針有狀態(tài)。

在圖8(4) 中，選擇存活對象最少的頁面（中間的頁面）作為轉(zhuǎn)移候選集 (EC) 。

隨后，在圖8(5)中，全局標(biāo)記被設(shè)置為Remmaped，并且所有根指針都已更新Remmaped。如果根指向EC，則相應(yīng)的對象將被重新定位，并且根指針更新為新地址。

在圖8(6)中，EC中的對象被轉(zhuǎn)移，并且地址記錄被逐出頁面中轉(zhuǎn)發(fā)表上，用于新舊地址轉(zhuǎn)換。當(dāng)并發(fā)轉(zhuǎn)移階段結(jié)束時，當(dāng)前GC周期也會結(jié)束。當(dāng)前周期內(nèi)整個EC都會被回收。這里可能有個疑問，對象的舊地址還沒有更新，頁面如果被回收了如何還能訪問對象呢？原因是回收的是頁面中對象存儲空間，轉(zhuǎn)發(fā)表不會被回收，如果此時業(yè)務(wù)線程訪問這些對象，會觸發(fā)讀屏障的慢路徑位，失效指針會被修復(fù)。對于沒有訪問到的失效指針，直到下一個GC并發(fā)標(biāo)記 (M/R) 階段才會被修復(fù)。

在圖8(7)中，下一個GC循環(huán)開始，M1被選擇為全局狀態(tài)（M0 和 M1 之間交替使用）。

在圖8(8)中，并發(fā)標(biāo)記階段 (M/R) 通過查詢轉(zhuǎn)發(fā)表失效的指標(biāo)被映射到新位置。

最后，在圖8(9)中，上一周期EC頁面的轉(zhuǎn)發(fā)表被回收，為即將到來的并發(fā)轉(zhuǎn)移 (RE) 階段做準(zhǔn)備。

七

總結(jié)

ZGC是一個十分復(fù)雜的JVM子系統(tǒng)，沒辦法通過一篇文章把所有的細(xì)節(jié)描述清楚。本文詳細(xì)探討了ZGC的著色指針和讀屏障關(guān)鍵技術(shù)，他們也是ZGC中創(chuàng)新點，最后通過一個示例對ZGC算法過程做了一個簡化版的演示。通過對ZGC這種復(fù)雜系統(tǒng)的學(xué)習(xí)，讓我也體會到分析復(fù)雜系統(tǒng)時沒必要一開始就過多的糾結(jié)實現(xiàn)細(xì)節(jié)，可以先從關(guān)鍵流程入手再層層深入。

ZGC的高并發(fā)設(shè)計造就了它的高性能，背后要歸功于著色指針和讀屏障運用，當(dāng)然除了這2項還有其他精妙的設(shè)計比如：內(nèi)存模型，并發(fā)模型，預(yù)測算法等這里不展開，讀者可以參考其他文章。了解ZGC的基本原理可以幫助優(yōu)化應(yīng)用程序的性能，為應(yīng)用調(diào)優(yōu)做些知識儲備。最后，ZGC有卓越的性能和穩(wěn)定性表現(xiàn)，我們在選擇GC選型時可以優(yōu)先考慮使用ZGC。

參考內(nèi)容：

[1]彭成寒:《新一代垃圾回收器ZGC設(shè)計與實現(xiàn)》.機械工業(yè)出版社, 2019.

[2]https://tech.meituan.com/2020/08/06/new-zgc-practice-in-meituan.html

[3]https://www.baeldung.com/jvm-zgc-garbage-collector

[4]https://openjdk.org/projects/zgc/

[5]https://www.jfokus.se/jfokus18/preso/ZGC--Low-Latency-GC-for-OpenJDK.pdf