Composite 聚合——Elasticsearch 聚合后分頁新實現(xiàn)
1、聚合后分頁應(yīng)用場景
在常規(guī)檢索的基礎(chǔ)上，用戶期望返回基于特定字段的聚合結(jié)果，且用戶期望分頁查看檢索和聚合結(jié)果。
如下圖所示：以2020東京奧運會熱點新聞亞洲飛人"蘇炳添”為例，用戶期望查看有關(guān)“蘇炳添”的新聞，同時期望查看相同標題的相似文章列表。
標題：如“9秒98！蘇炳添百米決賽第六！銘記這個歷史瞬間!"，隸屬：新聞的標題。
相似文章數(shù)：如 26，需要借助：實時聚合實現(xiàn)。
翻頁：向后翻頁或隨機翻頁。
顯然，傳統(tǒng)的from + size 分頁檢索不支持聚合后分頁，已不能滿足需求。
在【Elasticsearch聚合后分頁深入詳解】博文中，我探討過聚合后分頁查詢的實現(xiàn)，核心方法是：需要借助程序自己實現(xiàn)。
那是 2018 年的博文，3.5 年后的 2021年，有沒有新的實現(xiàn)方式呢？
2、聚合后分頁新的實現(xiàn)
實際在 Elasticsearch 6.1 版本（2017年12月13日 發(fā)布）就推出了：Composite 聚合方式，能實現(xiàn)聚合后分頁查詢。
2.0 認知前提——單桶聚合&多桶聚合
一圖勝千言。以如下圖示，代表聚合之前的原始數(shù)據(jù)，無需過多解釋，大家一看就明白。
name：product_0*: 產(chǎn)品名稱；
color：顏色；
pt：發(fā)布時間；
brand：品牌；
price：價格。
數(shù)據(jù)建模如下：
PUT my-products
{
"mappings": {
"properties": {
"brand": {
"type": "keyword"
},
"pt": {
"type": "date"
},
"name": {
"type": "keyword"
},
"color": {
"type": "keyword"
},
"price":{
"type":"integer"
}
}
}
}
批量寫入數(shù)據(jù)如下：
PUT my-products/_bulk
{"index":{"_id":1}}
{"brand":"nike","pt":"2021-01-01","name":"product_01","color":"red","price":600}
{"index":{"_id":2}}
{"brand":"grke","pt":"2021-02-01","name":"product_02","color":"red","price":200}
{"index":{"_id":3}}
{"brand":"lining","pt":"2021-03-01","name":"product_03","color":"green","price":300}
{"index":{"_id":4}}
{"brand":"lining","pt":"2021-02-01","name":"product_04","color":"green","price":450}
{"index":{"_id":5}}
{"brand":"grke","pt":"2021-04-01","name":"product_05","color":"blue","price":180}
{"index":{"_id":6}}
{"brand":"grke","pt":"2021-02-01","name":"product_06","color":"yellow","price":165}
{"index":{"_id":7}}
{"brand":"grke","pt":"2021-02-01","name":"product_07","color":"yellow":"price":190}
{"index":{"_id":8}}
{"brand":"lining","pt":"2021-04-01","name":"product_08","color":"blue","price":500}
{"index":{"_id":9}}
{"brand":"nike","pt":"2021-01-01","name":"product_09","color":"blue","price":1000}
2.0.1 單桶聚合
terms 單桶聚合結(jié)果如下：
以品牌類別聚合
實現(xiàn)如下：
POST my-products/_search
{
"size": 0,
"aggs": {
"brand_terms": {
"terms": {
"field": "brand",
"size": 10
}
}
}
}
按照顏色、日期實現(xiàn)方式一致，不再贅述。
以顏色聚合
以日期聚合
2.0.2 多桶聚合
Elastic search 支持 multi-terms 多桶聚合。
multi-terms 是 terms 聚合的引申，terms 支持 單個關(guān)鍵字的聚合，而multi-terms 顧名思義——多個關(guān)鍵字的聚合。
舉例：multi-terms 按照品牌、顏色兩個桶聚合如下：
多桶聚合實現(xiàn)如下：
GET my-products/_search
{
"size":0,
"aggs": {
"brands_and_colors_aggs": {
"multi_terms": {
"terms": [
{
"field": "brand"
},
{
"field": "color"
}
]
}
}
}
}
多桶聚合返回結(jié)果如下：
這時候，不免會有問題，如果想按照品牌和價格區(qū)間(histogram）或日期區(qū)間（date_histogram) 實現(xiàn)聚合統(tǒng)計分析，該如何實現(xiàn)呢？
顯然，multi-terms 聚合只支持：多個 terms 聚合操作，是不能滿足需求的。
而，Composite 組合聚合應(yīng)運而生，巧妙的解決了如上組合聚合問題。
2.1 Composite 聚合介紹
2.1.1 Composite 聚合定義
Composite 是個六級詞匯，含義：并合的，復(fù)合的，混成的，合成的，集成的。
Composite 聚合是一種多桶聚合，可從不同來源創(chuàng)建復(fù)合桶。
具體哪些不同源呢？主要支持的聚合方式如下：
Terms 特定關(guān)鍵字聚合
Histogram 區(qū)間聚合
Date histogram 日期區(qū)間聚合
GeoTile grid Geo地理位置聚合
與其他多桶聚合不同，使用 Composite 聚合有效地對多級聚合( multi-level )中的所有桶進行分頁。Composite 聚合提供了一種流式傳輸特定聚合的所有桶的方法，類似于Scroll 檢索（滾動檢索，適用于全量查詢數(shù)據(jù)的業(yè)務(wù)場景）的實現(xiàn)。
關(guān)于Scroll 檢索推薦閱讀：
干貨 | 全方位深度解讀 Elasticsearch 分頁查詢
Composite 聚合是根據(jù)為每個文檔提取/創(chuàng)建的值的組合構(gòu)建的，每個組合都被視為一個復(fù)合桶（2.1.3 會詳細舉例什么是復(fù)合桶）。
2.1.2 Composite 聚合的核心功能
Composite 聚合較其他聚合的核心不同點如下：
支持多類型組合桶聚合。打破傳統(tǒng)多桶單類型聚合的壁壘，支持：Terms、Histogram、Data histogram、GeoTile grid Geo 聚合。
支持聚合后分頁。類似：scroll 檢索的，僅支持向后翻頁，不支持隨機翻頁。
2.1.3 Composite 聚合語法
Composite 語法參考如下：
GET my-products/_search
{
"size": 0,
"aggs": {
"my_buckets": {
"composite": {
"size": 5,
"sources": [
{
"brand_terms": {
"terms": {
"field": "brand",
"order": "asc"
}
}
},
{
"prices_histogram": {
"histogram": {
"field": "price",
"interval": 50,
"order": "asc"
}
}
}
],
"after": {
"brand_terms": "lining",
"prices_histogram": 500
}
}
}
}
}
sources：指定組合分桶里各個分桶檢索語句，可以是一個或者多個（中括弧里面包含多個大括弧子分桶聚合語句）。
size：每次返回的結(jié)果數(shù)。
after：翻頁使用，每一次檢索都會有一個：“after_key”鍵值對組合，供下次檢索使用。
復(fù)合桶：{ "brand_terms": "lining", "prices_histogram": 500 } 實則為：品牌和價格區(qū)間兩者組成的復(fù)合桶。
order：分桶內(nèi)的排序方式。
3、Composite 聚合后分頁實戰(zhàn)演練
有了上面的分析，再來看Composite 聚合會非常輕松。
拿 2.0 小節(jié)的建模數(shù)據(jù)為示例。
假定需要實現(xiàn)：基于時間區(qū)間間隔一個月為單位，且基于品牌名稱兩個組合桶聚合，然后各個組合桶內(nèi)實現(xiàn)聚合統(tǒng)計各個組合桶的平均價格。
拆解如下：
第一：組合桶。
分桶一：data_histogram 實現(xiàn)按照發(fā)布時間間隔周期（指定為1個月）的聚合。
分桶二：terms 品牌聚合。
第二：基于組合桶實現(xiàn)各個組合桶平均價格的統(tǒng)計。
通過組合指標聚合 avg aggregation 實現(xiàn)組合桶內(nèi)求平均值的子聚合效果。
GET my-products/_search
{
"size": 0,
"aggs": {
"my_buckets": {
"composite": {
"size":5,
"sources": [
{
"date": {
"date_histogram": {
"field": "pt",
"calendar_interval": "1m",
"order": "desc",
"time_zone": "Asia/Shanghai"
}
}
},
{
"product": {
"terms": {
"field": "brand"
}
}
}
]
},
"aggregations": {
"the_avg": {
"avg": {
"field": "price"
}
}
}
}
}
}
返回結(jié)果如下：
說好的聚合后分頁呢？
就是在上面語句的后面，執(zhí)行下一頁翻頁的時候，加上上一頁返回的“after_key”值（對應(yīng)如下代表標紅：“after”部分）即可。
GET my-products/_search
{
"size": 0,
"aggs": {
"my_buckets": {
"composite": {
"size": 5,
"sources": [
{
"date": {
"date_histogram": {
"field": "pt",
"calendar_interval": "1m",
"order": "desc",
"time_zone": "Asia/Shanghai"
}
}
},
{
"product": {
"terms": {
"field": "brand"
}
}
}
],
"after": {
"date": 1612137600000,
"product": "lining"
}
},
"aggregations": {
"the_avg": {
"avg": {
"field": "price"
}
}
}
}
}
}
在生產(chǎn)環(huán)境只需要將上述內(nèi)容拼成java 或者 python 代碼，實現(xiàn)向后翻頁。
4、Composite 聚合注意事項
Composite 聚合僅能實現(xiàn)向后翻頁，不支持隨機翻頁。
Composite 聚合目前與管道（pipeline）聚合（基于聚合結(jié)果的子聚合方式）不兼容，在大多數(shù)情況下也沒有意義（會導致結(jié)果不準確）。
5、小結(jié)
本文重點講述了聚合后分頁的新實現(xiàn)方式——Composite 聚合，說新其實是較6.1 版本之前的自己實現(xiàn)的方式而言。
Composite 聚合的兩大核心特點：組合桶（支持四種類型）聚合、聚合后分頁。
您的實戰(zhàn)環(huán)節(jié)有用到聚合后分頁嗎？如何實現(xiàn)的呢？歡迎留言交流細節(jié)。
參考
1. https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-multi-terms-aggregation.html
2. https://github.com/elastic/elasticsearch/pull/26800
3. https://ramyav.medium.com/composite-aggregation-using-java-api-38882cabc886
推薦
