MongoDB 最佳實踐
點擊上方藍(lán)色字體，選擇“標(biāo)星公眾號”
優(yōu)質(zhì)文章，第一時間送達(dá)
作者 | c5p1ng
來源 | urlify.cn/IvmIVj
關(guān)于安全
為MongoDB集群啟用認(rèn)證鑒權(quán)
MongoDB服務(wù)器在默認(rèn)安裝下不啟用鑒權(quán)。這意味著每個人都可以直接連接到mongod實例并執(zhí)行任意數(shù)據(jù)庫操作。
為不同用戶分配不同的角色權(quán)限
MongoDB支持按角色定義的權(quán)限系統(tǒng)。你應(yīng)該基于“最少權(quán)限”準(zhǔn)則，顯式的為用戶分配僅需要的相應(yīng)權(quán)限。
使用中央鑒權(quán)服務(wù)器
盡可能使用LDAP、Kerbero之類的中央鑒權(quán)服務(wù)器，并使用強口令策略。
為需要訪問MongoDB的應(yīng)用服務(wù)器創(chuàng)建白名單（防火墻配置）
如果你的服務(wù)器有多個網(wǎng)卡，建議只在內(nèi)網(wǎng)的IP上監(jiān)聽服務(wù)。
對敏感數(shù)據(jù)使用加密引擎
MongoDB企業(yè)版支持存儲加密，對涉及到客戶的敏感數(shù)據(jù)應(yīng)該使用加密引擎來保護(hù)數(shù)據(jù)。
關(guān)于部署
至少使用3個數(shù)據(jù)節(jié)點的復(fù)制集
MongoDB的建議最小部署是3個數(shù)據(jù)節(jié)點構(gòu)成的復(fù)制集。復(fù)制集可以提供以下優(yōu)點：
系統(tǒng)99.999% 高可用
自動故障切換
數(shù)據(jù)冗余
容災(zāi)部署
讀寫分離
不用太早分片
分片可以用來擴展你系統(tǒng)的讀寫能力，但是分片也會帶來不少新的挑戰(zhàn)比如說管理上的復(fù)雜度，成本的增加，選擇合適片鍵的挑戰(zhàn)性等等。一般來說，你應(yīng)該先窮盡了其他的性能調(diào)優(yōu)的選項以后才開始考慮分片，比如說，索引優(yōu)化，模式優(yōu)化，代碼優(yōu)化，硬件資源優(yōu)化，IO優(yōu)化等。
選擇合適的分片數(shù)
分片的一些觸發(fā)條件為：
數(shù)據(jù)總量太大，無法在一臺服務(wù)器上管理
并發(fā)量太高，一臺服務(wù)器無法及時處理
磁盤IO壓力太大
單機系統(tǒng)內(nèi)存不夠大，無法裝下熱數(shù)據(jù)
服務(wù)器網(wǎng)卡處理能力達(dá)到瓶頸
多地部署情況下希望支持本地化讀寫
取決于你分片的觸發(fā)條件，你可以按照總的需求 然后除以每一臺服務(wù)器的能力來確定所需的分片數(shù)。
為每個分片部署足夠的復(fù)制集成員
分片之間的數(shù)據(jù)互相不復(fù)制。每個分片的數(shù)據(jù)必須在分片內(nèi)保證高可用。因此，對每一個分片MongoDB要求至少部署3個數(shù)據(jù)節(jié)點來保證該分片在絕大部分時間都不會因為主節(jié)點宕機而造成數(shù)據(jù)不可用。
選擇合適的片鍵
在分片場景下， 最重要的一個考量是選擇合適的片鍵。選擇片鍵需要考慮到應(yīng)用的讀寫模式。通常來說一個片鍵要么是對寫操作優(yōu)化，要么是對讀操作優(yōu)化。要根據(jù)哪種操作更加頻繁而進(jìn)行相應(yīng)的權(quán)衡。
片鍵值應(yīng)該具有很高的基數(shù)，或者說，這個片鍵在集合內(nèi)有很多不同的值，例如_id就是一個基數(shù)很高的片鍵因為_id值不會重復(fù)
片鍵一般不應(yīng)該是持續(xù)增長的，比如說timestamp就是個持續(xù)增長的片鍵。此類片鍵容易造成熱分片現(xiàn)象，即新的寫入集中到某一個分片上
好的片鍵應(yīng)該會讓查詢定向到某一個（或幾個）分片上從而提高查詢效率。一般來說這個意味著片鍵應(yīng)該包括最常用查詢用到的字段
好的片鍵應(yīng)該足夠分散，讓新的插入可以分布到多個分片上從而提高并發(fā)寫入率。
可以使用幾個字段的組合來組成片鍵，以達(dá)到幾個不同的目的（基數(shù)，分散性，及查詢定向等）
關(guān)于系統(tǒng)
使用SSD 或RAID10 來提高存儲IOPS能力
MongoDB是一個高性能高并發(fā)的數(shù)據(jù)庫，其大部分的IO操作為隨機更新。一般來說本機自帶的SSD是最佳的存儲方案。如果使用普通的硬盤，建議使用RAID10條帶化來提高IO通道的并發(fā)能力。
為Data和Journal/log使用單獨的物理卷
MongoDB很多的性能瓶頸和IO相關(guān)。建議為日志盤（Journal和系統(tǒng)日志）單獨設(shè)定一個物理卷，減少對數(shù)據(jù)盤IO的資源占用。
系統(tǒng)日志可以直接在命令行或者配置文件參數(shù)內(nèi)指定。Journal日志不支持直接指定到另外的目錄，可以通過對Journal目錄創(chuàng)建symbol link的方式來解決。
使用XFS 文件系統(tǒng)
MongoDB在WiredTiger存儲引擎下建議使用XFS文件系統(tǒng)。Ext4最為常見，但是由于ext文件系統(tǒng)的內(nèi)部journal和WiredTiger有所沖突，所以在IO壓力較大情況下表現(xiàn)不佳。
WiredTiger下謹(jǐn)慎使用超大緩存
WiredTiger 對寫操作的落盤是異步發(fā)生的。默認(rèn)是60秒做一次checkpoint。做checkpoint需要對內(nèi)存內(nèi)所有臟數(shù)據(jù)遍歷以便整理然后把這些數(shù)據(jù)寫入硬盤。如果緩存超大（如大于128G），那么這個checkpoint時間就需要較長時間。在checkpoint期間數(shù)據(jù)寫入性能會受到影響。目前建議實際緩存設(shè)置在64GB或以下。
關(guān)閉 Transparent Huge Pages
Transparent Huge Pages (THP) 是Linux的一種內(nèi)存管理優(yōu)化手段，通過使用更大的內(nèi)存頁來減少Translation Lookaside Buffer(TLB)的額外開銷。MongoDB數(shù)據(jù)庫大部分是比較分散的小量數(shù)據(jù)讀寫，THP對MongoDB這種工況會有負(fù)面的影響所以建議關(guān)閉。
http://docs.mongoing.com/manual-zh/tutorial/transparent-huge-pages.html
啟用Log Rotation
防止MongoDB 的log文件無限增大，占用太多磁盤空間。好的實踐是啟用log rotation并及時清理歷史日志文件。
分配足夠的Oplog空間
足夠的Oplog空間可以保證有足夠的時間讓你從頭恢復(fù)一個從節(jié)點，或者對從節(jié)點執(zhí)行一些比較耗時的維護(hù)操作。假設(shè)你最長的下線維護(hù)操作需要H小時，那么你的Oplog 一般至少要保證可以保存 H 2 或者 H3 小時的oplog。
關(guān)閉數(shù)據(jù)庫文件的 atime
禁止系統(tǒng)對文件的訪問時間更新會有效提高文件讀取的性能。這個可以通過在 /etc/fstab 文件中增加 noatime 參數(shù)來實現(xiàn)。例如:/dev/xvdb /data ext4 noatime 0 0
修改完文件后重新 mount就可以:mount -o remount /data
提高默認(rèn)文件描述符和進(jìn)程/線程數(shù)限制
Linux默認(rèn)的文件描述符數(shù)和最大進(jìn)程數(shù)對于MongoDB來說一般會太低。建議把這個數(shù)值設(shè)為64000。因為MongoDB服務(wù)器對每一個數(shù)據(jù)庫文件以及每一個客戶端連接都需要用到一個文件描述符。如果這個數(shù)字太小的話在大規(guī)模并發(fā)操作情況下可能會出錯或無法響應(yīng)。你可以通過以下命令來修改這些值：ulimit -n 64000 ulimit -u 64000
禁止 NUMA
在一個使用NUMA技術(shù)的多處理器Linux 系統(tǒng)上，你應(yīng)該禁止NUMA的使用。MongoDB在NUMA環(huán)境下運行性能有時候會可能變慢，特別是在進(jìn)程負(fù)載很高的情況下。
預(yù)讀值(readahead)設(shè)置
預(yù)讀值是文件操作系統(tǒng)的一個優(yōu)化手段，大致就是在程序請求讀取一個頁面的時候，文件系統(tǒng)會同時讀取下面的幾個頁面并返回。這原因是因為很多時候IO最費時的磁盤尋道。通過預(yù)讀，系統(tǒng)可以提前把緊接著的數(shù)據(jù)同時返回。假設(shè)程序是在做一個連續(xù)讀的操作，那么這樣可以節(jié)省很多磁盤尋道時間。
MongoDB很多時候會做隨機訪問。對于隨機訪問，這個預(yù)讀值應(yīng)該設(shè)置的較小為好.一般來說32是一個不錯的選擇。你可以使用下述命令來顯示當(dāng)前系統(tǒng)的預(yù)讀值：blockdev --report
要更改預(yù)讀值，可以用以下命令：blockdev --setra 32
使用NTP時間服務(wù)器
在使用MongoDB復(fù)制集或者分片集群的時候，注意一定要使用NTP時間服務(wù)器。這樣可以保證MongoDB集群成原則之間正確同步。
關(guān)于索引
為你的每一個查詢建立合適的索引
這個是針對于數(shù)據(jù)量較大比如說超過幾十上百萬（文檔數(shù)目）數(shù)量級的集合。如果沒有索引MongoDB需要把所有的Document從盤上讀到內(nèi)存，這會對MongoDB服務(wù)器造成較大的壓力并影響到其他請求的執(zhí)行。
創(chuàng)建合適的組合索引，不要依賴于交叉索引
如果你的查詢會使用到多個字段，MongoDB有兩個索引技術(shù)可以使用：交叉索引和組合索引。交叉索引就是針對每個字段單獨建立一個單字段索引，然后在查詢執(zhí)行時候使用相應(yīng)的單字段索引進(jìn)行索引交叉而得到查詢結(jié)果。交叉索引目前觸發(fā)率較低，所以如果你有一個多字段查詢的時候，建議使用組合索引能夠保證索引正常的使用。
例如，如果應(yīng)用需要查找所有年齡小于30歲的運動員：db.athelets.find({sport: "marathon", location: "sz", age: {$lt: 30}}})
那么你可能需要這樣的一個索引：db.athelets.ensureIndex({sport:1, location:1, age:1});
組合索引字段順序：匹配條件在前，范圍條件在后（Equality First, Range After）
以上文為例子，在創(chuàng)建組合索引時如果條件有匹配和范圍之分，那么匹配條件（sport: “marathon”) 應(yīng)該在組合索引的前面。范圍條件(age: <30)字段應(yīng)該放在組合索引的后面。
盡可能使用覆蓋索引（Covered Index）
有些時候你的查詢只需要返回很少甚至只是一個字段，例如，希望查找所有虹橋機場出發(fā)的所有航班的目的地。已有的索引是：{origin: 1, dest: 1}
如果正常的查詢會是這樣（只需要返回目的地機場）：db.flights.find({origin:"hongqiao"}, {dest:1});
這樣的查詢默認(rèn)會包含_id 字段，所以需要掃描匹配的文檔并取回結(jié)果。相反，如果使用這個查詢語句：db.flights.find({origin:"hongqiao"}, {_id:0, dest:1});
MongoDB則可以直接從索引中取得所有需要返回的值，而無需掃描實際文檔（文檔可能需要從硬盤里調(diào)入到內(nèi)存）
建索引要在后臺運行
在對一個集合創(chuàng)建索引時，該集合所在的數(shù)據(jù)庫將不接受其他讀寫操作。對數(shù)據(jù)量的集合建索引，建議使用后臺運行選項 {background: true}
程序配置
設(shè)定合適的MongoDB連接池大小 （Connections Per Host）
Java驅(qū)動的默認(rèn)連接池大小是100。建議按照應(yīng)用的實際情況做調(diào)整。對壓力較小的應(yīng)用可以適當(dāng)調(diào)小減少對應(yīng)用服務(wù)器的資源占用。
正確使用寫關(guān)注設(shè)置（Write Concern）
MongoDB的建議最小部署是一個復(fù)制集，包含3個數(shù)據(jù)節(jié)點。默認(rèn)情況下應(yīng)用的寫操作（更新，插入或者刪除）在主節(jié)點上完成后就會立即返回。寫操作則通過OPLOG方式在后臺異步方式復(fù)制到其他節(jié)點。在極端情況下，這些寫操作可能還未在復(fù)制到從節(jié)點的時候主節(jié)點就出現(xiàn)宕機。這個時候發(fā)生主備節(jié)點切換，原主節(jié)點的寫操作會被回滾到文件而對應(yīng)用不可見。為防止這種情況出現(xiàn)，MongoDB建議對重要的數(shù)據(jù)使用 {w: “marjority”} 的選項。{w: “majority”} 可以保證數(shù)據(jù)在復(fù)制到多數(shù)節(jié)點后才返回成功結(jié)果。使用該機制可以有效防止數(shù)據(jù)回滾的發(fā)生。
另外你可以使用 {j:1} （可以和 w:”majrotiy” 結(jié)合使用） 來指定數(shù)據(jù)必須在寫入WAL日志之后才向應(yīng)用返回成功確認(rèn)。這個會導(dǎo)致寫入性能有所下降，但是對于重要的數(shù)據(jù)可以考慮使用。
正確使用讀選項設(shè)置（Read Preference）
MongoDB由于是一個分布式系統(tǒng)，一份數(shù)據(jù)會在多個節(jié)點上進(jìn)行復(fù)制。從哪個節(jié)點上讀數(shù)據(jù)，要根據(jù)應(yīng)用讀數(shù)據(jù)的需求而定。以下是集中可以配置的讀選項：
primary: 默認(rèn)，在主節(jié)點上讀數(shù)據(jù)
priaryPreferred: 先從主節(jié)點上讀，如果為成功再到任意一臺從節(jié)點上讀
secondary：在從節(jié)點上讀數(shù)據(jù)（當(dāng)有多臺節(jié)點的時候，隨機的使用某一臺從節(jié)點）
secondaryPreferred：首先從從節(jié)點上讀，如果從節(jié)點由于某種原因不能提供服務(wù)，則從主節(jié)點上進(jìn)行讀
nearest：從距離最近的節(jié)點來讀。距離由ping操作的時間來決定。
除第一個選項之外，其他讀選項都存在讀到的數(shù)據(jù)不是最新的可能。原因是數(shù)據(jù)的復(fù)制是后臺異步完成的。
不要實例化多個MongoClient
MongoClient是個線程安全的類，自帶線程池。通常在一個JVM內(nèi)不要實例化多個MongoClient實例，避免連接數(shù)過多和資源的不必要浪費。
對寫操作使用Retry機制
MongoDB使用復(fù)制集技術(shù)可以實現(xiàn)99.999%的高可用。當(dāng)一臺主節(jié)點不能寫入時，系統(tǒng)會自動故障轉(zhuǎn)移到另一臺節(jié)點。轉(zhuǎn)移可能會耗時幾秒鐘，在這期間應(yīng)用應(yīng)該捕獲相應(yīng)的Exception并執(zhí)行重試操作。重試應(yīng)該有backoff機制，例如，分別在1s，2s，4s，8s等時候進(jìn)行重試。
避免使用太長的字段名
MongoDB 沒有表結(jié)構(gòu)定義。每個文檔的結(jié)構(gòu)由每個文檔內(nèi)部的字段決定。所有字段名會在每個文檔內(nèi)重復(fù)。使用太長的字段名字會導(dǎo)致對內(nèi)存、網(wǎng)絡(luò)帶寬更多的需求。（由于壓縮技術(shù)，長字段名對硬盤上的存儲不會有太多占用）
使用投射 （projection）來減少返回的內(nèi)容
MongoDB 支持類似于SQL語句里面的select，可以對返回的字段進(jìn)行過濾。使用Projection可以減少返回的內(nèi)容，降低網(wǎng)絡(luò)傳輸?shù)牧亢痛a中轉(zhuǎn)化成對象所需的時間。
使用TTL來自動刪除過期的數(shù)據(jù)
很多時候我們用MongoDB來存儲一些時效性的數(shù)據(jù)，如7天的監(jiān)控數(shù)據(jù)。與其自己寫個后臺腳本定期清理過期數(shù)據(jù)，你可以使用TTL索引來讓MongoDB自動刪除過期數(shù)據(jù)：db.data.ensureIndex({create_time:1}, {expireAfterSeconds: 7*24*3600})
粉絲福利：Java從入門到入土學(xué)習(xí)路線圖
??????
??長按上方微信二維碼 2 秒
感謝點贊支持下哈 