運(yùn)維大規(guī)模ES集群的思考和實(shí)踐

Elasticsearch是一個(gè)分布式、RESTful風(fēng)格的搜索和數(shù)據(jù)分析引擎。在開(kāi)源搜索領(lǐng)域已經(jīng)遙遙領(lǐng)先其他產(chǎn)品。隨著近年來(lái)ES的快速發(fā)展，ES已經(jīng)逐步從單一搜索引擎進(jìn)化成一個(gè)全能型的數(shù)據(jù)產(chǎn)品。在日志監(jiān)控，全文檢索，數(shù)據(jù)庫(kù)加速，大數(shù)據(jù)分析等很多領(lǐng)域得到廣泛應(yīng)用。

▲數(shù)據(jù)庫(kù)引擎排名，數(shù)據(jù)來(lái)源：https://db-engines.com/en/ranking▲

京東智聯(lián)云ES支撐了公有云，私有云和京東集團(tuán)內(nèi)部的大量ES集群。京東商城，京東物流，京東金融等各個(gè)業(yè)務(wù)領(lǐng)域都對(duì)ES服務(wù)有很大量的需求。目前已使用數(shù)十萬(wàn)核，上萬(wàn)個(gè)節(jié)點(diǎn)，數(shù)十萬(wàn)億個(gè)文檔。

如何利用云廠商的優(yōu)勢(shì)，高效，可靠，穩(wěn)定的運(yùn)維如此大規(guī)模的ES集群是我們需要思考和解決的問(wèn)題。下面我將從幾個(gè)維度介紹我們的思考和實(shí)踐。

▲京東智聯(lián)云ES產(chǎn)品能力▲

?

云廠商相較于用戶(hù)自建最大的優(yōu)勢(shì)在于彈性。彈性給用戶(hù)帶來(lái)的不僅僅是方便易用，還有降低成本。京東智聯(lián)云ES依托于云艦的服務(wù)編排能力，能夠達(dá)到快速，靈活的部署集群，支持對(duì)集群水平擴(kuò)縮，垂直變配，存儲(chǔ)擴(kuò)容等彈性能力。另外京東智聯(lián)云ES還提供了云硬盤(pán)、本地盤(pán)、對(duì)象存儲(chǔ)多種存儲(chǔ)方式，滿(mǎn)足不同場(chǎng)景下的用戶(hù)需求。

?

另外服務(wù)編排還提供了故障自愈能力。物理機(jī)故障場(chǎng)景，會(huì)自動(dòng)將故障機(jī)器上的es節(jié)點(diǎn)failover到其他節(jié)點(diǎn)；es節(jié)點(diǎn)故障場(chǎng)景，會(huì)自動(dòng)嘗試重啟es節(jié)點(diǎn)如果仍然無(wú)法恢復(fù)則會(huì)遷移es節(jié)點(diǎn)到其他物理機(jī)節(jié)點(diǎn)。

?

▲京東智聯(lián)云ES運(yùn)維能力▲

如此大規(guī)模的集群，需要全局和指標(biāo)豐富的運(yùn)維監(jiān)控系統(tǒng)，來(lái)保障系統(tǒng)運(yùn)維的可視化。通過(guò)我們的運(yùn)維經(jīng)驗(yàn)積累，京東智聯(lián)云的運(yùn)維監(jiān)控系統(tǒng)，已經(jīng)能夠?qū)崟r(shí)的發(fā)現(xiàn)異常集群，并能夠通過(guò)各個(gè)監(jiān)控指標(biāo)分析發(fā)現(xiàn)問(wèn)題的原因。

▲京東智聯(lián)云ES運(yùn)維監(jiān)控系統(tǒng)▲

?

ES版本特別多，由于歷史原因很多舊系統(tǒng)很難升級(jí)，且不同用戶(hù)上云對(duì)版本需求差異較大，所以需要支持很多不同的版本。目前支持的大版本有2.x，5.x，6.x，7.x。多版本的管理復(fù)用同一套編排管理系統(tǒng)，能夠快速支持新es版本上線。

?

ES的特點(diǎn)是開(kāi)箱即用，但ES可配置項(xiàng)非常多，對(duì)于不同的業(yè)務(wù)場(chǎng)景和需求，集群需要不同的調(diào)優(yōu)配置，非專(zhuān)業(yè)用戶(hù)往往很難使用的非常合理。下面列舉一些常見(jiàn)問(wèn)題：

越來(lái)越多用戶(hù)開(kāi)始使用云ES，但在上云過(guò)程中面臨的第一個(gè)障礙是：對(duì)于用戶(hù)已經(jīng)有自建的ES集群或者其他云廠商的托管ES集群的情況下，如何能夠?qū)⑦@些原集群數(shù)據(jù)遷移到京東智聯(lián)云ES呢？基于此，京東智聯(lián)云提供了ES遷移上云解決方案，并根據(jù)不同場(chǎng)景提供了在線和離線等多種遷移方案。用戶(hù)可以根據(jù)自己的實(shí)際場(chǎng)景，選擇適合自己的方案進(jìn)行遷移上云。

索引生命周期管理是用戶(hù)很常用的一個(gè)管理功能。按天或月周期創(chuàng)建索引，保留一定時(shí)間后刪除過(guò)期索引，永久保留指定時(shí)間的索引（例如大促期間的索引）。ES從6.6版本在x-pack中開(kāi)始支持索引生命周期管理功能的測(cè)試版本，但低版本不支持該功能。京東智聯(lián)云ES將該功能拓展到所有ES版本并提供UI化設(shè)置，比通過(guò)原生kibana配置或者API配置更加簡(jiǎn)單實(shí)用。

探索智能化運(yùn)維，我們的運(yùn)維知識(shí)和經(jīng)驗(yàn)產(chǎn)品化提供給用戶(hù)，根據(jù)用戶(hù)的業(yè)務(wù)場(chǎng)景，綜合各項(xiàng)監(jiān)控指標(biāo)，給出集群的健康狀況和解決建議。例如節(jié)點(diǎn)負(fù)載不均，分片設(shè)置不合理，堆內(nèi)存占用太高，GC時(shí)間太長(zhǎng)，filedata占比太高，集群負(fù)載較高，分片數(shù)量太大，寫(xiě)入或者查詢(xún)線程池隊(duì)列有堆積或者reject，集群的讀寫(xiě)流量異常波動(dòng)等。

自動(dòng)化運(yùn)維或者自治運(yùn)維是終極目標(biāo)，隨著智能化運(yùn)維能力的提高，通過(guò)監(jiān)控指標(biāo)數(shù)據(jù)自治系統(tǒng)就能夠自主得出決策并執(zhí)行，完全不需要人工介入。

ES的應(yīng)用場(chǎng)景主要涉及日志檢索，數(shù)據(jù)庫(kù)加速，監(jiān)控指標(biāo)，數(shù)據(jù)分析等領(lǐng)域。不同的業(yè)務(wù)場(chǎng)景具有不同的特點(diǎn)，對(duì)性能的需求也不盡相同，所以需要針對(duì)不同場(chǎng)景有不同的優(yōu)化方案。

1.?日志檢索場(chǎng)景，并發(fā)寫(xiě)入量大，實(shí)時(shí)性要求不高，存儲(chǔ)量大，數(shù)據(jù)有冷熱屬性。針對(duì)這種場(chǎng)景可以提高索引寫(xiě)入緩存大小來(lái)提升寫(xiě)入性能；增加refresh interval時(shí)間間隔來(lái)減少segment數(shù)量；將translog.durability使用HDD來(lái)降低存儲(chǔ)成本。

2.?數(shù)據(jù)庫(kù)加速場(chǎng)景，對(duì)于沒(méi)有事務(wù)性要求，且需要檢索海量數(shù)據(jù)的結(jié)構(gòu)化查詢(xún)場(chǎng)景，ES是替代關(guān)系型數(shù)據(jù)庫(kù)的不錯(cuò)選擇。京東主要應(yīng)用的業(yè)務(wù)有商品，優(yōu)惠券，訂單，對(duì)賬，物流等。此場(chǎng)景的特點(diǎn)是延遲敏感，需要高性能，高可用。

3.?監(jiān)控指標(biāo)，并發(fā)寫(xiě)入量大，時(shí)序特性，不需要高可用，數(shù)據(jù)有冷熱屬性。

4.?數(shù)據(jù)分析場(chǎng)景，數(shù)據(jù)分析維度較多，聚合查詢(xún)。寫(xiě)入量大，查詢(xún)量小，但需要聚合查詢(xún)。京東主要應(yīng)用的業(yè)務(wù)有訂單交易分析，用戶(hù)畫(huà)像等。

專(zhuān)業(yè)的人做專(zhuān)業(yè)的事，托管ES產(chǎn)品第一步解決了用戶(hù)自己搭建集群，管理集群的效率和成本問(wèn)題，但用戶(hù)仍然需要了解ES的原理知識(shí)，調(diào)優(yōu)知識(shí)，索引配置，集群配置，分片設(shè)置等等和業(yè)務(wù)無(wú)直接關(guān)系的知識(shí)，使用好ES仍然需要很高的門(mén)檻。所以托管ES產(chǎn)品的第二步就是服務(wù)化，用戶(hù)只需要提出業(yè)務(wù)的需求，不用再關(guān)心服務(wù)后面ES集群的參數(shù)。例如用戶(hù)從自身的業(yè)務(wù)場(chǎng)景入手，提供寫(xiě)入查詢(xún)性能指標(biāo)的期望，另外用戶(hù)只需要定義索引的mapping，不需要關(guān)心索引的settings，分片數(shù)量等配置信息。從集群的規(guī)格配置到索引的合理設(shè)置都由后臺(tái)自動(dòng)設(shè)置和優(yōu)化。

?

給用戶(hù)提供簡(jiǎn)單可靠的產(chǎn)品是我們的終極目標(biāo)。所以未來(lái)我們會(huì)從兩個(gè)方面提升優(yōu)化我們的產(chǎn)品，一是從用戶(hù)的角度對(duì)外呈現(xiàn)產(chǎn)品形態(tài)，通過(guò)產(chǎn)品服務(wù)化更貼近用戶(hù)的使用習(xí)慣，降低用戶(hù)使用門(mén)檻，提供更加簡(jiǎn)單且實(shí)用的使用方式。二是從運(yùn)維的角度增強(qiáng)后臺(tái)的自治運(yùn)維能力，包括智能檢測(cè)和修復(fù)能力，故障自愈能力，自動(dòng)彈性能力，數(shù)據(jù)配置托管能力等，做到從托管產(chǎn)品變成托管服務(wù)。