ElasticSearch 億級數(shù)據(jù)檢索深度優(yōu)化
- 前言 -
- 需求說明 -
項目背景：
改進版本目標：
數(shù)據(jù)能跨月查詢，并且支持1年以上的歷史數(shù)據(jù)查詢與導(dǎo)出。 按條件的數(shù)據(jù)查詢秒級返回。
- 深入原理 -
Elasticsearch檢索原理
3.1 關(guān)于ES和Lucene基礎(chǔ)結(jié)構(gòu)
Cluster: 包含多個Node的集群 Node: 集群服務(wù)單元 Index: 一個ES索引包含一個或多個物理分片，它只是這些分片的邏輯命名空間 Type: 一個index的不同分類，6.x后只能配置一個type，以后將移除 Document: 最基礎(chǔ)的可被索引的數(shù)據(jù)單元，如一個JSON串 Shards : 一個分片是一個底層的工作單元，它僅保存全部數(shù)據(jù)中的一部分，它是一個Lucence實例 (一個Lucene: 索引最大包含2,147,483,519 (= Integer.MAX_VALUE - 128)個文檔數(shù)量) Replicas: 分片備份，用于保障數(shù)據(jù)安全與分擔檢索壓力 ES依賴一個重要的組件Lucene，關(guān)于數(shù)據(jù)結(jié)構(gòu)的優(yōu)化通常來說是對Lucene的優(yōu)化，它是集群的一個存儲于檢索工作單元，結(jié)構(gòu)如下圖：
3.2 Lucene索引實現(xiàn)
注： 整理來源于lucene官方: http://lucene.apache.org/core/7_2_1/core/org/apache/lucene/codecs/lucene70/package-summary.html#package.description
- 關(guān)于 DocValues -
For other features that we now commonly associate with search, such as sorting, faceting, and highlighting, this approach is not very efficient. The faceting engine, for example, must look up each term that appears in each document that will make up the result set and pull the document IDs in order to build the facet list. In Solr, this is maintained in memory, and can be slow to load (depending on the number of documents, terms, etc.)
3.3 關(guān)于ES索引與檢索分片
- 優(yōu)化案例 -
ES僅提供字段的檢索，僅存儲HBase的Rowkey不存儲實際數(shù)據(jù)。 實際數(shù)據(jù)存儲在HBase中，通過Rowkey查詢，如下圖。 提高索引與檢索的性能建議，可參考官方文檔（如 https://www.elastic.co/guide/en/elasticsearch/reference/current/tune-for-indexing-speed.html）。
4.1 優(yōu)化索引性能
批量寫入，看每條數(shù)據(jù)量的大小，一般都是幾百到幾千。 多線程寫入，寫入線程數(shù)一般和機器數(shù)相當，可以配多種情況，在測試環(huán)境通過Kibana觀察性能曲線。 增加segments的刷新時間，通過上面的原理知道，segment作為一個最小的檢索單元，比如segment有50個，目的需要查10條數(shù)據(jù)，但需要從50個segment分別查詢10條，共500條記錄，再進行排序或者分數(shù)比較后，截取最前面的10條，丟棄490條。在我們的案例中將此 "refresh_interval": "-1" ，程序批量寫入完成后進行手工刷新(調(diào)用相應(yīng)的API即可)。 內(nèi)存分配方面，很多文章已經(jīng)提到，給系統(tǒng)50%的內(nèi)存給Lucene做文件緩存，它任務(wù)很繁重，所以ES節(jié)點的內(nèi)存需要比較多(比如每個節(jié)點能配置64G以上最好）。 磁盤方面配置SSD，機械盤做陣列RAID5 RAID10雖然看上去很快，但是隨機IO還是SSD好。 使用自動生成的ID，在我們的案例中使用自定義的KEY，也就是與HBase的ROW KEY，是為了能根據(jù)rowkey刪除和更新數(shù)據(jù)，性能下降不是很明顯。 關(guān)于段合并，合并在后臺定期執(zhí)行，比較大的segment需要很長時間才能完成，為了減少對其他操作的影響(如檢索)，elasticsearch進行閾值限制，默認是20MB/s，可配置的參數(shù)："indices.store.throttle.max_bytes_per_sec" : "200mb" （根據(jù)磁盤性能調(diào)整）合并線程數(shù)默認是：Math.max(1, Math.min(4, Runtime.getRuntime().availableProcessors() / 2))，如果是機械磁盤，可以考慮設(shè)置為1：index.merge.scheduler.max_thread_count: 1，在我們的案例中使用SSD，配置了6個合并線程。
4.2 優(yōu)化檢索性能
關(guān)閉不需要字段的doc values。 盡量使用keyword替代一些long或者int之類，term查詢總比range查詢好 (參考lucene說明 http://lucene.apache.org/core/7_4_0/core/org/apache/lucene/index/PointValues.html)。 關(guān)閉不需要查詢字段的_source功能，不將此存儲僅ES中，以節(jié)省磁盤空間。 評分消耗資源，如果不需要可使用filter過濾來達到關(guān)閉評分功能，score則為0，如果使用constantScoreQuery則score為1。 關(guān)于分頁： from + size: 每分片檢索結(jié)果數(shù)最大為 from + size，假設(shè)from = 20, size = 20，則每個分片需要獲取20 * 20 = 400條數(shù)據(jù)，多個分片的結(jié)果在協(xié)調(diào)節(jié)點合并(假設(shè)請求的分配數(shù)為5，則結(jié)果數(shù)最大為 400*5 = 2000條) 再在內(nèi)存中排序后然后20條給用戶。這種機制導(dǎo)致越往后分頁獲取的代價越高，達到50000條將面臨沉重的代價，默認from + size默認如下：index.max_result_window ：10000 search_after: 使用前一個分頁記錄的最后一條來檢索下一個分頁記錄，在我們的案例中，首先使用from+size，檢索出結(jié)果后再使用search_after，在頁面上我們限制了用戶只能跳5頁，不能跳到最后一頁。 scroll 用于大結(jié)果集查詢，缺陷是需要維護scroll_id 關(guān)于排序：我們增加一個long字段，它用于存儲時間和ID的組合(通過移位即可)，正排與倒排性能相差不明顯。 關(guān)于CPU消耗，檢索時如果需要做排序則需要字段對比，消耗CPU比較大，如果有可能盡量分配16cores以上的CPU，具體看業(yè)務(wù)壓力。 關(guān)于合并被標記刪除的記錄，我們設(shè)置為0表示在合并的時候一定刪除被標記的記錄，默認應(yīng)該是大于10%才刪除："merge.policy.expunge_deletes_allowed": "0"。
{
"mappings": {
"data": {
"dynamic": "false",
"_source": {
"includes": ["XXX"] -- 僅將查詢結(jié)果所需的數(shù)據(jù)存儲僅_source中
},
"properties": {
"state": {
"type": "keyword", -- 雖然state為int值，但如果不需要做范圍查詢，盡量使用keyword，因為int需要比keyword增加額外的消耗。
"doc_values": false -- 關(guān)閉不需要字段的doc values功能，僅對需要排序，匯聚功能的字段開啟。
},
"b": {
"type": "long" -- 使用了范圍查詢字段，則需要用long或者int之類 （構(gòu)建類似KD-trees結(jié)構(gòu)）
}
}
}
},
"settings": {......}
}
- 性能測試 -
單節(jié)點5千萬到一億的數(shù)據(jù)量測試，檢查單點承受能力。 集群測試1億-30億的數(shù)量，磁盤IO/內(nèi)存/CPU/網(wǎng)絡(luò)IO消耗如何。 隨機不同組合條件的檢索，在各個數(shù)據(jù)量情況下表現(xiàn)如何。 另外SSD與機械盤在測試中性能差距如何。
- 生產(chǎn)效果 -
作者：fredalxin
來源：
https://fredal.xin/graceful-soa-updown
評論
圖片
表情