OutOfMemoryError,內(nèi)存不足等問(wèn)題處理方案

作者 | 優(yōu)雅先生

• OutOfMemoryError，內(nèi)存不足

• 內(nèi)存泄露

• 線程死鎖

• 鎖爭(zhēng)用（Lock Contention）

• Java進(jìn)程消耗CPU過(guò)高

• ......

這些問(wèn)題在日常開(kāi)發(fā)、維護(hù)中可能被很多人忽視（比如有的人遇到上面的問(wèn)題只是重啟服務(wù)器或者調(diào)大內(nèi)存，而不會(huì)深究問(wèn)題根源），但能夠理解并解決這些問(wèn)題是Java程序員進(jìn)階的必備要求。本文將對(duì)一些常用的JVM性能調(diào)優(yōu)監(jiān)控工具進(jìn)行介紹，希望能起拋磚引玉之用。

而且這些監(jiān)控、調(diào)優(yōu)工具的使用，無(wú)論你是運(yùn)維、開(kāi)發(fā)、測(cè)試，都是必須掌握的。

A、?jps(Java Virtual Machine Process Status Tool) ? ? ?

jps主要用來(lái)輸出JVM中運(yùn)行的進(jìn)程狀態(tài)信息。語(yǔ)法格式如下：

jps?[options]?[hostid]

如果不指定hostid就默認(rèn)為當(dāng)前主機(jī)或服務(wù)器。

命令行參數(shù)選項(xiàng)說(shuō)明如下：

-q?不輸出類(lèi)名、Jar名和傳入main方法的參數(shù)

-m?輸出傳入main方法的參數(shù)

-l?輸出main類(lèi)或Jar的全限名

-v?輸出傳入JVM的參數(shù)

比如下面：

root@ubuntu:/#?jps?-m?-l
2458?org.artifactory.standalone.main.Main?/usr/local/artifactory-2.2.5/etc/jetty.xml
29920?com.sun.tools.hat.Main?-port?9998?/tmp/dump.dat
3149?org.apache.catalina.startup.Bootstrap?start
30972?sun.tools.jps.Jps?-m?-l
8247?org.apache.catalina.startup.Bootstrap?start
25687?com.sun.tools.hat.Main?-port?9999?dump.dat
21711?mrf-center.jar

B、?jstack

jstack主要用來(lái)查看某個(gè)Java進(jìn)程內(nèi)的線程堆棧信息。語(yǔ)法格式如下：

jstack?[option]?pid
jstack?[option]?executable?core
jstack?[option]?[server-id@]remote-hostname-or-ip

命令行參數(shù)選項(xiàng)說(shuō)明如下：

-l?long?listings，會(huì)打印出額外的鎖信息，在發(fā)生死鎖時(shí)可以用jstack?-l?pid來(lái)觀察鎖持有情況-m?mixed?mode，不僅會(huì)輸出Java堆棧信息，還會(huì)輸出C/C++堆棧信息（比如Native方法）

jstack可以定位到線程堆棧，根據(jù)堆棧信息我們可以定位到具體代碼，所以它在JVM性能調(diào)優(yōu)中使用得非常多。下面我們來(lái)一個(gè)實(shí)例找出某個(gè)Java進(jìn)程中最耗費(fèi)CPU的Java線程并定位堆棧信息，用到的命令有ps、top、printf、jstack、grep。

第一步先找出Java進(jìn)程ID，我部署在服務(wù)器上的Java應(yīng)用名稱(chēng)為mrf-center：

root@ubuntu:/#?ps?-ef?|?grep?mrf-center?|?grep?-v?grep
root?????21711?????1??1?14:47?pts/3????00:02:10?java?-jar?mrf-center.jar

? ? 得到進(jìn)程ID為21711，第二步找出該進(jìn)程內(nèi)最耗費(fèi)CPU的線程，可以使用ps -Lfp pid或者ps -mp pid -o THREAD, tid, time或者top -Hp pid，我這里用第三個(gè)，輸出如下：

TIME列就是各個(gè)Java線程耗費(fèi)的CPU時(shí)間，CPU時(shí)間最長(zhǎng)的是線程ID為21742的線程，用

printf?"%x\n"?21742

得到21742的十六進(jìn)制值為54ee，下面會(huì)用到。? ?

OK，下一步終于輪到j(luò)stack上場(chǎng)了，它用來(lái)輸出進(jìn)程21711的堆棧信息，然后根據(jù)線程ID的十六進(jìn)制值grep，如下：

root@ubuntu:/#?jstack?21711?|?grep?54ee
"PollIntervalRetrySchedulerThread"?prio=10?tid=0x00007f950043e000?nid=0x54ee?in?Object.wait()?[0x00007f94c6eda000]

可以看到CPU消耗在PollIntervalRetrySchedulerThread這個(gè)類(lèi)的Object.wait()，我找了下我的代碼，定位到下面的代碼：

//?Idle?wait
getLog().info("Thread?["?+?getName()?+?"]?is?idle?waiting...");
schedulerThreadState?=?PollTaskSchedulerThreadState.IdleWaiting;
long?now?=?System.currentTimeMillis();
long?waitTime?=?now?+?getIdleWaitTime();
long?timeUntilContinue?=?waitTime?-?now;
synchronized(sigLock)?{    try?{
????  if(!halted.get())?{
????        sigLock.wait(timeUntilContinue);
????   }
????}?    catch?(InterruptedException?ignore)?{
????}
}

它是輪詢?nèi)蝿?wù)的空閑等待代碼，上面的sigLock.wait(timeUntilContinue)就對(duì)應(yīng)了前面的Object.wait()。

C、?jmap（Memory Map）和jhat（Java Heap Analysis Tool）

jmap用來(lái)查看堆內(nèi)存使用狀況，一般結(jié)合jhat使用。

jmap語(yǔ)法格式如下：

jmap?[option]?pid
jmap?[option]?executable?core
jmap?[option]?[server-id@]remote-hostname-or-ip

如果運(yùn)行在64位JVM上，可能需要指定-J-d64命令選項(xiàng)參數(shù)。

jmap?-permstat?pid

打印進(jìn)程的類(lèi)加載器和類(lèi)加載器加載的持久代對(duì)象信息，輸出：類(lèi)加載器名稱(chēng)、對(duì)象是否存活（不可靠）、對(duì)象地址、父類(lèi)加載器、已加載的類(lèi)大小等信息，如下圖：

使用jmap -heap pid查看進(jìn)程堆內(nèi)存使用情況，包括使用的GC算法、堆配置參數(shù)和各代中堆內(nèi)存使用情況。比如下面的例子：

root@ubuntu:/#?jmap?-heap?21711
Attaching?to?process?ID?21711,?please?wait...
Debugger?attached?successfully.
Server?compiler?detected.
JVM?version?is?20.10-b01

using?thread-local?object?allocation.
Parallel?GC?with?4?thread(s)

Heap?Configuration:
MinHeapFreeRatio?=?40???
MaxHeapFreeRatio?=?70???
MaxHeapSize??????=?2067791872?(1972.0MB)
NewSize??????????=?1310720?(1.25MB)
MaxNewSize???????=?17592186044415?MB
OldSize??????????=?5439488?(5.1875MB)
NewRatio?????????=?2???
SurvivorRatio????=?8???
PermSize?????????=?21757952?(20.75MB)
MaxPermSize??????=?85983232?(82.0MB)

Heap?Usage:
PS?Young?Generation
Eden?Space:
???capacity?=?6422528?(6.125MB)
???used?????=?5445552?(5.1932830810546875MB)
???free?????=?976976?(0.9317169189453125MB)
???84.78829520089286%?used
From?Space:
???capacity?=?131072?(0.125MB)
???used?????=?98304?(0.09375MB)
???free?????=?32768?(0.03125MB)
???75.0%?used
To?Space:
???capacity?=?131072?(0.125MB)
???used?????=?0?(0.0MB)
???free?????=?131072?(0.125MB)
???0.0%?used
PS?Old?Generation
???capacity?=?35258368?(33.625MB)
???used?????=?4119544?(3.9287033081054688MB)
???free?????=?31138824?(29.69629669189453MB)
???11.683876009235595%?used
PS?Perm?Generation
???capacity?=?52428800?(50.0MB)
???used?????=?26075168?(24.867218017578125MB)
???free?????=?26353632?(25.132781982421875MB)
???49.73443603515625%?used
???....

使用jmap -histo[:live] pid查看堆內(nèi)存中的對(duì)象數(shù)目、大小統(tǒng)計(jì)直方圖，如果帶上live則只統(tǒng)計(jì)活對(duì)象，如下：

root@ubuntu:/#?jmap?-histo:live?21711?|?more?
num?????#instances?????????#bytes??class?name----------------------------------------------
???1:?????????38445????????5597736??
???2:?????????38445????????5237288??
???3:??????????3500????????3749504??
???4:?????????60858????????3242600??
???5:??????????3500????????2715264??
???6:??????????2796????????2131424??
???7:??????????5543????????1317400??[I
???8:?????????13714????????1010768??[C
???9:??????????4752????????1003344??[B
??10:??????????1225?????????639656??
??11:?????????14194?????????454208??java.lang.String
??12:??????????3809?????????396136??java.lang.Class
??13:??????????4979?????????311952??[S
??14:??????????5598?????????287064??[[I
??15:??????????3028?????????266464??java.lang.reflect.Method
??16:???????????280?????????163520??
??17:??????????4355?????????139360??java.util.HashMap$Entry
??18:??????????1869?????????138568??[Ljava.util.HashMap$Entry;
??19:??????????2443??????????97720??java.util.LinkedHashMap$Entry
??20:??????????2072??????????82880??java.lang.ref.SoftReference
??21:??????????1807??????????71528??[Ljava.lang.Object;
??22:??????????2206??????????70592??java.lang.ref.WeakReference
??23:???????????934??????????52304??java.util.LinkedHashMap
??24:???????????871??????????48776??java.beans.MethodDescriptor
??25:??????????1442??????????46144??java.util.concurrent.ConcurrentHashMap$HashEntry
??26:???????????804??????????38592??java.util.HashMap
??27:???????????948??????????37920??java.util.concurrent.ConcurrentHashMap$Segment
??28:??????????1621??????????35696??[Ljava.lang.Class;
??29:??????????1313??????????34880??[Ljava.lang.String;
??30:??????????1396??????????33504??java.util.LinkedList$Entry
??31:???????????462??????????33264??java.lang.reflect.Field
??32:??????????1024??????????32768??java.util.Hashtable$Entry
??33:???????????948??????????31440??[Ljava.util.concurrent.ConcurrentHashMap$HashEntry;

class name是對(duì)象類(lèi)型，說(shuō)明如下：

B??byte
C??char
D??double
F??float
I??int
J??long
Z??boolean
[??數(shù)組，如[I表示int[]
[L+類(lèi)名?其他對(duì)象

還有一個(gè)很常用的情況是：用jmap把進(jìn)程內(nèi)存使用情況dump到文件中，再用jhat分析查看。jmap進(jìn)行dump命令格式如下：

jmap?-dump:format=b,file=dumpFileName pid

我一樣地對(duì)上面進(jìn)程ID為21711進(jìn)行Dump：

root@ubuntu:/#?jmap?-dump:format=b,file=/tmp/dump.dat?21711?????
Dumping?heap?to?/tmp/dump.dat?...
Heap?dump?file?created

dump出來(lái)的文件可以用MAT、VisualVM等工具查看，這里用jhat查看：

root@ubuntu:/#?jhat?-port?9998?/tmp/dump.dat
Reading?from?/tmp/dump.dat...
Dump?file?created?Tue?Jan?28?17:46:14?CST?2014Snapshot?read,?resolving...
Resolving?132207?objects...
Chasing?references,?expect?26?dots..........................
Eliminating?duplicate?references..........................
Snapshot?resolved.
Started?HTTP?server?on?port?9998Server?is?ready.

注意如果Dump文件太大，可能需要加上-J-Xmx512m這種參數(shù)指定最大堆內(nèi)存，即jhat -J-Xmx512m -port 9998 /tmp/dump.dat。然后就可以在瀏覽器中輸入主機(jī)地址:9998查看了：

上面紅線框出來(lái)的部分大家可以自己去摸索下，最后一項(xiàng)支持OQL（對(duì)象查詢語(yǔ)言）。

D、jstat（JVM統(tǒng)計(jì)監(jiān)測(cè)工具）

語(yǔ)法格式如下：

jstat?[?generalOption?|?outputOptions?vmid?[interval[s|ms]?[count]]?]

vmid是Java虛擬機(jī)ID，在Linux/Unix系統(tǒng)上一般就是進(jìn)程ID。interval是采樣時(shí)間間隔。count是采樣數(shù)目。比如下面輸出的是GC信息，采樣時(shí)間間隔為250ms，采樣數(shù)為4：

root@ubuntu:/#?jstat?-gc?21711?250?4?
S0C????S1C????S0U????S1U??????EC???????EU????????OC?????????OU???????PC?????PU????YGC?????YGCT????FGC????FGCT?????GCT???
192.0??192.0???64.0???0.0????6144.0???1854.9???32000.0?????4111.6???55296.0?25472.7????702????0.431???3??????0.218????0.649
192.0??192.0???64.0???0.0????6144.0???1972.2???32000.0?????4111.6???55296.0?25472.7????702????0.431???3??????0.218????0.649
192.0??192.0???64.0???0.0????6144.0???1972.2???32000.0?????4111.6???55296.0?25472.7????702????0.431???3??????0.218????0.649
192.0??192.0???64.0???0.0????6144.0???2109.7???32000.0?????4111.6???55296.0?25472.7????702????0.431???3??????0.218????0.649

要明白上面各列的意義，先看JVM堆內(nèi)存布局：

可以看出：

堆內(nèi)存?=?年輕代?+?年老代?+?永久代
年輕代?=?Eden區(qū)?+?兩個(gè)Survivor區(qū)（From和To）

現(xiàn)在來(lái)解釋各列含義：

S0C、S1C、S0U、S1U：Survivor 0/1區(qū)容量（Capacity）和使用量（Used）
EC、EU：Eden區(qū)容量和使用量
OC、OU：年老代容量和使用量
PC、PU：永久代容量和使用量
YGC、YGT：年輕代GC次數(shù)和GC耗時(shí)
FGC、FGCT：Full GC次數(shù)和Full GC耗時(shí)
GCT：GC總耗時(shí)

E、hprof（Heap/CPU Profiling Tool）

hprof能夠展現(xiàn)CPU使用率，統(tǒng)計(jì)堆內(nèi)存使用情況。

語(yǔ)法格式如下：

java?-agentlib:hprof[=options]?ToBeProfiledClass
java?-Xrunprof[:options]?ToBeProfiledClass
javac?-J-agentlib:hprof[=options]?ToBeProfiledClass

完整的命令選項(xiàng)如下：

Option?Name?and?Value??Description????????????????????Default
---------------------??-----------????????????????????-------
heap=dump|sites|all????heap?profiling?????????????????all
cpu=samples|times|old??CPU?usage??????????????????????off
monitor=y|n????????????monitor?contention?????????????n
format=a|b?????????????text(txt)?or?binary?output?????a
file=????????????write?data?to?file?????????????java.hprof[.txt]
net=:??????send?data?over?a?socket????????off
depth=???????????stack?trace?depth??????????????4
interval=??????????sample?interval?in?ms??????????10
cutoff=?????????output?cutoff?point????????????0.0001
lineno=y|n?????????????line?number?in?traces??????????y
thread=y|n?????????????thread?in?traces???????????????n
doe=y|n????????????????dump?on?exit???????????????????y
msa=y|n????????????????Solaris?micro?state?accounting?n
force=y|n??????????????force?output?to??????????y
verbose=y|n????????????print?messages?about?dumps?????y

來(lái)幾個(gè)官方指南上的實(shí)例。

CPU Usage Sampling Profiling(cpu=samples)的例子：

java?-agentlib:hprof=cpu=samples,interval=20,depth=3?Hello

上面每隔20毫秒采樣CPU消耗信息，堆棧深度為3，生成的profile文件名稱(chēng)是java.hprof.txt，在當(dāng)前目錄。?

CPU Usage Times Profiling(cpu=times)的例子，它相對(duì)于CPU Usage Sampling Profile能夠獲得更加細(xì)粒度的CPU消耗信息，能夠細(xì)到每個(gè)方法調(diào)用的開(kāi)始和結(jié)束，它的實(shí)現(xiàn)使用了字節(jié)碼注入技術(shù)（BCI）：

javac?-J-agentlib:hprof=cpu=times?Hello.java

Heap Allocation Profiling(heap=sites)的例子：

javac?-J-agentlib:hprof=heap=sites?Hello.java

Heap Dump(heap=dump)的例子，它比上面的Heap Allocation Profiling能生成更詳細(xì)的Heap Dump信息：

javac?-J-agentlib:hprof=heap=dump?Hello.java

雖然在JVM啟動(dòng)參數(shù)中加入-Xrunprof:heap=sites參數(shù)可以生成CPU/Heap Profile文件，但對(duì)JVM性能影響非常大，不建議在線上服務(wù)器環(huán)境使用。

【墻裂推薦】

最近熱門(mén)內(nèi)容回顧? ?#技術(shù)人系列

下方二維碼關(guān)注我

互聯(lián)網(wǎng)草根，堅(jiān)持分享技術(shù)、創(chuàng)業(yè)、產(chǎn)品等心得和總結(jié)~

點(diǎn)個(gè)贊再走唄！