分布式與集群分久必合，淺析Filecoin集群架構優(yōu)化方向

關于Filecoin集群的探索，由來已久、從未停歇。

?

如果把Filecoin挖礦比作建造高樓大廈，那么，集群就像打地基，地基的架構、材料質量、施工方案等都影響著這棟房子能蓋多高、多寬、最多可承載多少人，能否在臺風、暴雨、地震等自然以及人為因素侵擾之際依舊巋然不動、屹立不倒。

如果說Filecoin是區(qū)塊鏈的底層基礎設施，那么，集群架構就是Filecoin的底層基礎設施。接下來，我們從集群發(fā)展的三個階段來談談Filecoin集群的優(yōu)化方向。

分布式與集群

?

什么是集群？?

集群（cluster）是指在多臺不同的服務器中部署相同應用或服務模塊，簡單來說，集群指的是將幾臺服務器集中在一起，實現(xiàn)同一業(yè)務。

集群一般是指物理集中、統(tǒng)一管理的，從形態(tài)上來說，集群只是一個物理形態(tài)，但并不是一個工作方式，從工作方式來說，集群也分為單機結構集群、集群結構集群以及分布式結構集群。

?

單機結構組成的集群

這里說的單機結構并不是單臺礦機，而是指由一臺一臺礦機組成的集群，之所以稱為單機結構，是因為這種集群沒有做具體的功能細分，一臺礦機幾乎包含了所有的功能。

以Filecoin挖礦為例， 假設Filecoin挖礦有六大流程（P1、P2、C1、C2、Lotus、miner），單機結構組成的集群是指這六大流程都放在一臺礦機上，這一臺臺礦機同時也組成了一個集群，但是每一臺礦機都是獨立的個體，其中的系統(tǒng)交互性比較低。

單機結構組成的集群相對來說比較粗線條，所有的流程都呈現(xiàn)在一個礦機上，這將降低處理效率，降低各功能模塊之間的可組合性，就Filecoin挖礦而言，這可能會增加生成有效算力的時間周期。

集群結構組成的集群

集群結構組成的集群也是由一臺臺礦機組成，和單機結構所組成的集群的主要區(qū)別在于，集群結構中的單臺礦機并非一次性承擔了所有的流程，而是專注于單個流程，?因此，集群結構組成的集群的細分度和顆粒度比單機結構所組成的集群更高?。

以Filecoin挖礦為例，P1、P2、C1、C2等每個流程都有多臺礦機共同提供，?因此，集群的處理能力和效率能夠得到成倍數(shù)的提升，能夠降低系統(tǒng)之間的耦合度，提升管理的效率和集群的效能。

相比于單機結構，當公司業(yè)務規(guī)模擴大時，集群結構能夠更快、更加具有針對性的增加相對應的設備，以滿足業(yè)務需求。

?

分布式集群

?

集群架構組成的集群走的是“精致化”的路線，將功能全部分開，有助于在最大程度上提高效率，但是也存在一定程度上的資源浪費。

我們都知道，F(xiàn)ilecoin挖礦并不是所有的流程都是完全獨立的，其中的許多流程甚至是互相交互的，例如P1和P2 的工作和數(shù)據(jù)封裝有關，C1和C2?的工作和zkSNARK有關，那么，就可以將這些相關的流程放在一起，在保證最大效率化的同時，提高礦機利用率，提高服務的復用性，并且降低成本。

雖然說，每種集群都有各自的優(yōu)點，都對應不同的場景。但總得來說，分布式集群相對于單機集群而言，有著降本增效的作用，相對于集群架構組成的集群而言，能夠減少資源浪費，提高服務的復用性。

事實上，時代日新月異，集群的架構也是在不斷地發(fā)展進步的，分布式與集群分久必合合久必分，一個真正優(yōu)秀的集群管理者和構建者，必然能夠選取最符合公司現(xiàn)狀的集群模式，然后在根據(jù)業(yè)務情況進行個性化部署。

Filecoin集群架構優(yōu)化方向

結合上文所說的知識，一起來思考下面的兩個問題，進而對Filecoin集群的優(yōu)化方向有更深的理解。

Filecoin基于IPFS協(xié)議將云存儲構建了一個去中心化的存儲交易市場，主要包括‘’存儲”和“檢索”兩個市場，目前，礦工們獲得區(qū)塊獎勵主要是在存儲市場挖礦為主。

Filecoin挖礦的四個階段（軟件方面）

Filecoin挖礦（礦工獲得區(qū)塊獎勵）一般要經歷“P1、P2、C1、C2”這四個階段：

?

• P1階段主要是將文件打碎、分片，并計算原始數(shù)據(jù)的merkle樹，這一階段主要耗費的是CPU，大概耗時4小時；

• P2階段需要生成Replica，計算Column Hash，?這一階段對gas的需求比較大，這一階段主要是GPU在工作，大概耗時二十分鐘；

• C1階段是不上鏈的，并且大概只需要耗費幾秒鐘；

• C2階段主要是零知識證明的電路處理以及生成零知識證明的過程，大概耗時四十分鐘。

P1要4個小時，這個是必不可少的，這就不難解釋為什么在Filecoin第一階段測試、第二階段測試以及太空競賽開跑時，礦工節(jié)點最快的出線時間也是在四個小時之后，即用戶一般中午才能看到數(shù)據(jù)。

問題一：“礦商如何 才能在最短的時間內封裝最多的數(shù)據(jù)？”

例如，P1要4個小時，那是跑完了P1再跑P2、C1、C2，還是考慮進行1個P1和3個P2的組合進行跑，到底要怎么樣組合才能讓自己的有效算力封裝速度最快？

Filecoin礦機的組成（硬件搭配）

一個計算機集群，是指集成的硬件和軟件緊密連接、分層架構、彼此協(xié)調，共同完成某項任務。因此，我們不僅要思考關于軟件組合的問題，我們還要思考關于硬件搭配以及軟件和硬件如何搭配的問題。

我們都知道， Filecoin礦機的硬件部分主要是由Worker、Miner和Storage這三部分組成的。Worker負責寫入數(shù)據(jù)，需要的是高性能的AMD處理器;? Miner負責發(fā)送和接收數(shù)據(jù)，其主要工作是Post ，也就是說需要用到顯卡和GPU;? ?Storage負責存儲數(shù)據(jù)，相當于給數(shù)據(jù)安家，這時候需要用到高品質的硬盤等。

問題二：?“我們該如何搭配各個組件，才能做到既可以獨立開發(fā)、獨立部署、獨立排查，又能做到互相搭配、降低耦合度、讓系統(tǒng)更利于擴展和靈活變通，從而讓集群性能發(fā)揮到最大”？

看到這里，相信聰明的你已經明白了，問題一主要是從Filecoin挖礦原理方面著手，進行的是軟件方面的優(yōu)化，其主要目的是在最短時間內封裝最多的有效數(shù)據(jù)；問題二主要是從Filecoin硬件配置入手，其主要目的是合理搭配Filecoin礦機的各個組件，做到資源不浪費、流程不繁雜、提升硬件管理的“顆粒度”，從而提升效能。

一個真正優(yōu)秀的集群管理者和架構者，不僅要做到單方面的最優(yōu)解，還要能平衡軟件和硬件之間的矛盾，讓集群以最低的單位成本，最快的速度，封存最多的數(shù)據(jù)。

畢竟，在Filecoin網絡里，單位時間內封存的數(shù)據(jù)越多，有效存力的增長速度越快，有效算力就越多，進而拿到的區(qū)塊獎勵也就越多。