ElasticSearch 深度分頁(yè)詳解

protected <T> Page<T> searchPageByConditionWithScrollId(BoolQueryBuilder queryParam, Class<T> targetClass, Page<T> page) throws IllegalAccessException, InstantiationException, InvocationTargetException {
        SearchResponse scrollResp = null;
        String scrollId = ContextParameterHolder.get("scrollId");
        if (scrollId != null) {
            scrollResp = getTransportClient().prepareSearchScroll(scrollId).setScroll(new TimeValue(60000)).execute()
                    .actionGet();
        } else {
            logger.info("基于scroll的分頁(yè)查詢，scrollId為空");
            scrollResp = this.prepareSearch()
                    .setSearchType(SearchType.QUERY_AND_FETCH)
                    .setScroll(new TimeValue(60000))
                    .setQuery(queryParam)
                    .setSize(page.getPageSize()).execute().actionGet();
            ContextParameterHolder.set("scrollId", scrollResp.getScrollId());
        }
        SearchHit[] hits = scrollResp.getHits().getHits();
        List<T> list = new ArrayList<T>(hits.length);
        for (SearchHit hit : hits) {
            T instance = targetClass.newInstance();
            this.convertToBean(instance, hit);
            list.add(instance);
        }
        page.setTotalRow((int) scrollResp.getHits().getTotalHits());
        page.setResult(list);
        return page;
    }

3.4 小結(jié)

scroll 分頁(yè)方式的優(yōu)點(diǎn)就是減少了查詢和排序的次數(shù)，避免性能損耗。缺點(diǎn)就是只能實(shí)現(xiàn)上一頁(yè)、下一頁(yè)的翻頁(yè)功能，不兼容通過(guò)頁(yè)碼查詢數(shù)據(jù)的跳頁(yè)，同時(shí)由于其在搜索初始化階段會(huì)生成快照，后續(xù)數(shù)據(jù)的變化無(wú)法及時(shí)體現(xiàn)在查詢結(jié)果，因此更加適合一次性批量查詢或非實(shí)時(shí)數(shù)據(jù)的分頁(yè)查詢。

啟用游標(biāo)查詢時(shí)，需要注意設(shè)定期望的過(guò)期時(shí)間（scroll = 1m），以降低維持游標(biāo)查詢窗口所需消耗的資源。注意這個(gè)過(guò)期時(shí)間每次查詢都會(huì)重置刷新為 1 分鐘，表示游標(biāo)的閑置失效時(shí)間（第二次以后的查詢必須帶 scroll = 1m 參數(shù)才能實(shí)現(xiàn)）

4 Search After 分頁(yè)方式

Search After 分頁(yè)方式是 ES 5 新增的一種分頁(yè)查詢方式，其實(shí)現(xiàn)的思路同 Scroll 分頁(yè)方式基本一致，通過(guò)記錄上一次分頁(yè)的位置標(biāo)識(shí)，來(lái)進(jìn)行下一次分頁(yè)數(shù)據(jù)的查詢。相比于 Scroll 分頁(yè)方式，它的優(yōu)點(diǎn)是可以實(shí)時(shí)體現(xiàn)數(shù)據(jù)的變化，解決了查詢快照導(dǎo)致的查詢結(jié)果延遲問(wèn)題。

4.1 執(zhí)行過(guò)程

Search After 方式也不支持跳頁(yè)功能，每次查詢一頁(yè)數(shù)據(jù)。第一次每個(gè) shard 返回一頁(yè)數(shù)據(jù)（size 條），coordinating node 一共獲取到 shard 數(shù) * size 條數(shù)據(jù) ， 接下來(lái) coordinating node 在內(nèi)存中進(jìn)行排序，取出前 size 條數(shù)據(jù)作為第一頁(yè)搜索結(jié)果返回。當(dāng)拉取第二頁(yè)時(shí)，不同于 Scroll 分頁(yè)方式，Search After 方式會(huì)找到第一頁(yè)數(shù)據(jù)被拉取的最大值，作為第二頁(yè)數(shù)據(jù)拉取的查詢條件。

這樣每個(gè) shard 還是返回一頁(yè)數(shù)據(jù)（size 條），coordinating node 獲取到 shard 數(shù) * size 條數(shù)據(jù)進(jìn)行內(nèi)存排序，取得前 size 條數(shù)據(jù)作為全局的第二頁(yè)搜索結(jié)果。

后續(xù)分頁(yè)查詢以此類推…

4.2 ES 示例

第一次查詢只傳入排序字段和每頁(yè)大小 size

GET /wms_order_sku2021_10/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "shipmentOrderCreateTime": {
              "gte": "2021-10-12 00:00:00",
              "lt": "2021-10-15 00:00:00"
            }
          }
        }
      ]
    }
  },
  "size": 20,
  "sort": [
    {
      "_id": {
        "order": "desc"
      }
    },{
      "shipmentOrderCreateTime":{
        "order": "desc"
      }
    }
  ]
}

public <T> ScrollDto<T> queryScrollDtoByParamWithSearchAfter(
            BoolQueryBuilder queryParam, Class<T> targetClass, int pageSize, String afterId,
            List<FieldSortBuilder> fieldSortBuilders) {
        SearchResponse scrollResp;
        long now = System.currentTimeMillis();
        SearchRequestBuilder builder = this.prepareSearch();
        if (CollectionUtils.isNotEmpty(fieldSortBuilders)) {
            fieldSortBuilders.forEach(builder::addSort);
        }
        builder.addSort("_id", SortOrder.DESC);
        if (StringUtils.isBlank(afterId)) {
            log.info("queryScrollDtoByParamWithSearchAfter基于afterId的分頁(yè)查詢，afterId為空");
            SearchRequestBuilder searchRequestBuilder = builder.setSearchType(SearchType.DFS_QUERY_THEN_FETCH)
                    .setQuery(queryParam).setSize(pageSize);
            scrollResp = searchRequestBuilder.execute()
                    .actionGet();
            log.info("queryScrollDtoByParamWithSearchAfter基于afterId的分頁(yè)查詢,afterId 為空，searchRequestBuilder:{}", searchRequestBuilder);
        } else {
            log.info("queryScrollDtoByParamWithSearchAfter基于afterId的分頁(yè)查詢，afterId=" + afterId);
            Object[] afterIds = JSON.parseObject(afterId, Object[].class);
            SearchRequestBuilder searchRequestBuilder = builder.setSearchType(SearchType.DFS_QUERY_THEN_FETCH)
                    .setQuery(queryParam).searchAfter(afterIds).setSize(pageSize);
            log.info("queryScrollDtoByParamWithSearchAfter基于afterId的分頁(yè)查詢，searchRequestBuilder:{}", searchRequestBuilder);
            scrollResp = searchRequestBuilder.execute()
                    .actionGet();
        }
        SearchHit[] hits = scrollResp.getHits().getHits();
        log.info("queryScrollDtoByParamWithSearchAfter基于afterId的分頁(yè)查詢，totalRow={}, size={}, use time:{}", scrollResp.getHits().getTotalHits(), hits.length, System.currentTimeMillis() - now);
        now = System.currentTimeMillis();

        List<T> list = new ArrayList<>();
        if (ArrayUtils.getLength(hits) > 0) {
            list = Arrays.stream(hits)
                    .filter(Objects::nonNull)
                    .map(SearchHit::getSourceAsMap)
                    .filter(Objects::nonNull)
                    .map(JSON::toJSONString)
                    .map(e -> JSON.parseObject(e, targetClass))
                    .collect(Collectors.toList());
            afterId = JSON.toJSONString(hits[hits.length - 1].getSortValues());
        }
        log.info("es數(shù)據(jù)轉(zhuǎn)換bean，totalRow={}, size={}, use time:{}", scrollResp.getHits().getTotalHits(), hits.length, System.currentTimeMillis() - now);
        return ScrollDto.<T>builder().scrollId(afterId).result(list).totalRow((int) scrollResp.getHits().getTotalHits()).build();
    }

4.4 小結(jié)

Search After 分頁(yè)方式采用記錄作為游標(biāo)，因此 Search After 要求 doc 中至少有一條全局唯一變量（示例中使用_id 和時(shí)間戳，實(shí)際上_id 已經(jīng)是全局唯一）。Search After 方式是無(wú)狀態(tài)的分頁(yè)查詢，因此數(shù)據(jù)的變更能夠及時(shí)的反映在查詢結(jié)果中，避免了 Scroll 分頁(yè)方式無(wú)法獲取最新數(shù)據(jù)變更的缺點(diǎn)。同時(shí) Search After 不用維護(hù) scroll_id 和快照，因此也節(jié)約大量資源。

5 總結(jié)思考

5.1 ES 三種分頁(yè)方式對(duì)比總結(jié)