国产成人AV一区二区三区在线观看 ,骚逼美女,先锋影音男人资源,一级免费黄色,日韩大香蕉网,看国产的av一级片,影视先锋成人,黄在线免费观看视频

先自上而下，后自底向上的介紹ElasticSearch的底層工作原理，試圖回答以下問題：

為什么我的搜索?foo-bar?無法匹配?_foo-bar_?？
為什么增加更多的文件會壓縮索引（Index）？
為什么ElasticSearch占用很多內(nèi)存？

圖解ElasticSearch

云上的集群

集群里的盒子

云里面的每個白色正方形的盒子代表一個節(jié)點——Node。

節(jié)點之間

在一個或者多個節(jié)點直接，多個綠色小方塊組合在一起形成一個ElasticSearch的索引。

索引里的小方塊

在一個索引下，分布在多個節(jié)點里的綠色小方塊稱為分片——Shard。

Shard＝Lucene Index

一個ElasticSearch的Shard本質(zhì)上是一個Lucene Index。

Lucene是一個Full Text搜索庫（也有很多其他形式的搜索庫），ElasticSearch是建立在Lucene之上的。接下來的故事要說的大部分內(nèi)容實際上是ElasticSearch如何基于Lucene工作的。

圖解Lucene

Mini索引——segment

在Lucene里面有很多小的segment，我們可以把它們看成Lucene內(nèi)部的mini-index。

Segment內(nèi)部

有著許多數(shù)據(jù)結(jié)構(gòu)

Inverted Index
Stored Fields
Document Values
Cache

最最重要的Inverted Index

Inverted Index主要包括兩部分：

一個有序的數(shù)據(jù)字典Dictionary（包括單詞Term和它出現(xiàn)的頻率）。
與單詞Term對應(yīng)的Postings（即存在這個單詞的文件）。

當(dāng)我們搜索的時候，首先將搜索的內(nèi)容分解，然后在字典里找到對應(yīng)Term，從而查找到與搜索相關(guān)的文件內(nèi)容。

查詢“the fury”

自動補全（AutoCompletion-Prefix）

如果想要查找以字母“c”開頭的字母，可以簡單的通過二分查找（Binary Search）在Inverted
Index表中找到例如“choice”、“coming”這樣的詞（Term）。

昂貴的查找

如果想要查找所有包含“our”字母的單詞，那么系統(tǒng)會掃描整個Inverted Index，這是非常昂貴的。

在此種情況下，如果想要做優(yōu)化，那么我們面對的問題是如何生成合適的Term。

問題的轉(zhuǎn)化

對于以上諸如此類的問題，我們可能會有幾種可行的解決方案：

suffix -> xiffus
如果我們想以后綴作為搜索條件，可以為Term做反向處理。
(60.6384, 6.5017) -> u4u8gyykk
對于GEO位置信息，可以將它轉(zhuǎn)換為GEO Hash。
123 -> {1-hundreds, 12-tens, 123}

對于簡單的數(shù)字，可以為它生成多重形式的Term。

解決拼寫錯誤

一個 ?Python庫

https://pypi.python.org/pypi/misspellings

為單詞生成了一個包含錯誤拼寫信息的樹形狀態(tài)機，解決拼寫錯誤的問題。

Stored Field字段查找

當(dāng)我們想要查找包含某個特定標(biāo)題內(nèi)容的文件時，Inverted Index就不能很好的解決這個問題，所以Lucene提供了另外一種數(shù)據(jù)結(jié)構(gòu)Stored
Fields來解決這個問題。本質(zhì)上，Stored Fields是一個簡單的鍵值對key-
value。默認情況下，ElasticSearch會存儲整個文件的JSON source。

Document Values為了排序，聚合

即使這樣，我們發(fā)現(xiàn)以上結(jié)構(gòu)仍然無法解決諸如：排序、聚合、facet，因為我們可能會要讀取大量不需要的信息。
所以，另一種數(shù)據(jù)結(jié)構(gòu)解決了此種問題：Document Values。這種結(jié)構(gòu)本質(zhì)上就是一個列式的存儲，它高度優(yōu)化了具有相同類型的數(shù)據(jù)的存儲結(jié)構(gòu)。

為了提高效率，ElasticSearch可以將索引下某一個Document Value全部讀取到內(nèi)存中進行操作，這大大提升訪問速度，但是也同時會消耗掉大量的內(nèi)存空間。

總之，這些數(shù)據(jù)結(jié)構(gòu)Inverted Index、Stored Fields、Document Values及其緩存，都在segment內(nèi)部。

搜索發(fā)生時

搜索時，Lucene會搜索所有的segment然后將每個segment的搜索結(jié)果返回，最后合并呈現(xiàn)給客戶。
Lucene的一些特性使得這個過程非常重要：

Segments是不可變的（immutable）

Delete??當(dāng)刪除發(fā)生時，Lucene做的只是將其標(biāo)志位置為刪除，但是文件還是會在它原來的地方，不會發(fā)生改變
Update??所以對于更新來說，本質(zhì)上它做的工作是：先?刪除?，然后?重新索引（Re-index）

隨處可見的壓縮
Lucene非常擅長壓縮數(shù)據(jù)，基本上所有教科書上的壓縮方式，都能在Lucene中找到。
緩存所有的所有

Lucene也會將所有的信息做緩存，這大大提高了它的查詢效率。

緩存的故事

當(dāng)ElasticSearch索引一個文件的時候，會為文件建立相應(yīng)的緩存，并且會定期（每秒）刷新這些數(shù)據(jù)，然后這些文件就可以被搜索到。

隨著時間的增加，我們會有很多segments，

所以ElasticSearch會將這些segment合并，在這個過程中，segment會最終被刪除掉

這就是為什么增加文件可能會使索引所占空間變小，它會引起merge，從而可能會有更多的壓縮。

舉個栗子

有兩個segment將會merge

這兩個segment最終會被刪除，然后合并成一個新的segment

這時這個新的segment在緩存中處于cold狀態(tài)，但是大多數(shù)segment仍然保持不變，處于warm狀態(tài)。
以上場景經(jīng)常在Lucene Index內(nèi)部發(fā)生的。

在Shard中搜索

ElasticSearch從Shard中搜索的過程與Lucene Segment中搜索的過程類似。

與在Lucene Segment中搜索不同的是，Shard可能是分布在不同Node上的，所以在搜索與返回結(jié)果時，所有的信息都會通過網(wǎng)絡(luò)傳輸。
需要注意的是：

1次搜索查找2個shard ＝ 2次分別搜索shard

對于日志文件的處理

當(dāng)我們想搜索特定日期產(chǎn)生的日志時，通過根據(jù)時間戳對日志文件進行分塊與索引，會極大提高搜索效率。
當(dāng)我們想要刪除舊的數(shù)據(jù)時也非常方便，只需刪除老的索引即可。

在上種情況下，每個index有兩個shards

如何Scale

shard不會進行更進一步的拆分，但是shard可能會被轉(zhuǎn)移到不同節(jié)點上

所以，如果當(dāng)集群節(jié)點壓力增長到一定的程度，我們可能會考慮增加新的節(jié)點，這就會要求我們對所有數(shù)據(jù)進行重新索引，這是我們不太希望看到的，所以我們需要在規(guī)劃的時候就考慮清楚，如何去平衡足夠多的節(jié)點與不足節(jié)點之間的關(guān)系。