<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          分布式維基百科鏡像服務(wù)更新

          共 3209字,需瀏覽 7分鐘

           ·

          2021-06-11 09:29



          • 分布式維基百科鏡像服務(wù)和Kiwix項(xiàng)目很高興宣布更新后的英文版和土耳其語(yǔ)版 鏡像服務(wù)開(kāi)始提供廣泛可用的服務(wù),更多的新語(yǔ)言版本鏡像服務(wù)也上線了,它們包括緬甸語(yǔ), 阿拉伯語(yǔ), 中文和俄語(yǔ)。



          • 你可以隨時(shí)在ipfs.kiwix.org找到最新的列表,還能通snapshot-hashes.yml 文件來(lái)獲取。


          • 分布式維基百科鏡像服務(wù)的想法可以追溯到2017年,當(dāng)時(shí)IPFS項(xiàng)目創(chuàng)建了英文和土耳其語(yǔ)的內(nèi)容快照并存放到IPFS網(wǎng)絡(luò)上。要了解我們這樣做的目的,請(qǐng)閱讀最初的IPFS上的維基百科一文。


          下面是一個(gè)簡(jiǎn)短的狀態(tài)簡(jiǎn)報(bào),包括了優(yōu)化后的使用方法,當(dāng)前搭建過(guò)程及存在的問(wèn)題,以及未來(lái)可以貢獻(xiàn)到該項(xiàng)目的工作。

          訪問(wèn)維基百科鏡像服務(wù)的改進(jìn)方法

          用戶(hù)友好型的ipns://{dnslink}及公共網(wǎng)關(guān)

          帶有IPFS地址支持的瀏覽器, 或常規(guī)的Firefox和Chromium 裝上IPFS Companion 就可以使用 DNSLink載入最新的快照:
          • ipns://{dnslink}

          • ipns://en.wikipedia-on-ipfs.org


          為了確保真正的點(diǎn)對(duì)點(diǎn)傳輸,離線存儲(chǔ)和內(nèi)容的完整性,你可以運(yùn)行自己的IPFS節(jié)點(diǎn),或IPFS Desktop桌面端和IPFS Companion瀏覽器擴(kuò)展工具的結(jié)合。你也可以使用內(nèi)置IPFS支持的Brave瀏覽器:

          點(diǎn)此觀看視頻(https://youtu.be/jTDkTQiKzJA)

          當(dāng)你無(wú)法運(yùn)行自己的IPFS節(jié)點(diǎn)時(shí)多個(gè)公共網(wǎng)關(guān)中的一個(gè)可以被用作訪問(wèn)鏡像服務(wù)的代理。例如:
          https://dweb.link/ipns/my.wikipedia-on-ipfs.org
          https://cf-ipfs.com/ipns/my.wikipedia-on-ipfs.org

          強(qiáng)健及不可篡改的ipfs://{cid}

          如果DNS解析被阻擋,或一個(gè)公共網(wǎng)關(guān)無(wú)法被信任,那么建議使用底層的密碼內(nèi)容標(biāo)識(shí)來(lái)訪問(wèn)不可篡改的快照。

          ipfs://{cid}

          特定鏡像服務(wù)的 {cid} 標(biāo)識(shí)可以通過(guò) snapshot-hashes.yml獲取,或使用`ipfs resolve -r /ipns/en.wikipedia-on-ipfs.org`從其DNSLink記錄中讀取。在本文書(shū)寫(xiě)時(shí),英文版鏡像指向了    ipfs://bafybeiaysi4s6lnjev27ln5icwm6tueaw2vdykrtjkwiphwekaywqhcjze。

          通過(guò)sneakernet來(lái)分享CID標(biāo)識(shí)是繞過(guò)DNS問(wèn)題和審查的流行方式。土耳其人在2017年土耳其屏蔽維基百科時(shí)使用了這個(gè)方法。歷史不會(huì)重演,但經(jīng)驗(yàn)和教訓(xùn)值得學(xué)習(xí)。今年早期緬甸開(kāi)始進(jìn)行互聯(lián)網(wǎng)中斷的實(shí)驗(yàn):


          為滿(mǎn)足這個(gè)重要的需求,我們創(chuàng)建了一個(gè)緬甸語(yǔ)版本的維基百科鏡像,并分享了DNSLink和CID標(biāo)識(shí)號(hào):


          如何幫助共同存放這些內(nèi)容?

          你可以運(yùn)行自己的IPFS節(jié)點(diǎn)和共同存放維基百科的一個(gè)子集,存放完整副本,或追蹤協(xié)作集群以自動(dòng)拉入未來(lái)更新。

          也可以通過(guò)將特定CID標(biāo)識(shí)pin到遠(yuǎn)程服務(wù)上來(lái)貢獻(xiàn)共同存放的成本。

          用你自己的IPFS節(jié)點(diǎn)進(jìn)行延遲加載存放服務(wù)

          其實(shí)是可以保留一個(gè)延遲加載的副本的。這樣就不需要取回整個(gè)維基百科了,而是保留瀏覽過(guò)的頁(yè)面的子集數(shù)據(jù)。


          也可以通過(guò)將特定CID標(biāo)識(shí)后的DAG循環(huán)進(jìn)行pin操作:


          循環(huán)pin(recursive pin)會(huì)在本地?cái)?shù)據(jù)存儲(chǔ)器中預(yù)先裝載整個(gè)鏡像。注意,英文版的體積遠(yuǎn)遠(yuǎn)大于其他語(yǔ)言版本,因此對(duì)其進(jìn)行pin操作需要幾百GB的空間,可能需要很長(zhǎng)的時(shí)間。

          特定鏡像的尺寸可以通過(guò) ipfs files stat /ipfs/{cid} 命令來(lái)獲取。

          協(xié)作集群
          服務(wù)器管理員和高級(jí)用戶(hù)可以使用一個(gè)高級(jí)的選項(xiàng)。wikipedia集群包括了所有的語(yǔ)言版本,其體積隨著時(shí)間推移只會(huì)不斷增加。


          若要查看操作指令,可以到collab.ipfscluster.io。

          貢獻(xiàn)遠(yuǎn)程pin服務(wù)
          當(dāng)共同搭建IPFS節(jié)點(diǎn)不可行時(shí),還是可以通過(guò)將快照的CID標(biāo)識(shí)pin到遠(yuǎn)程的pinning服務(wù)上。學(xué)習(xí)如何使用遠(yuǎn)程pinning服務(wù)(https://docs.ipfs.io/how-to/work-with-pinning-services/).

          一個(gè)鏡像服務(wù)是如何搭建的?

          當(dāng)前的方法依賴(lài)于ZIM格式的維基百科快照 ,這是由Kiwix項(xiàng)目提供的。

          目前我們還沒(méi)有基于Web頁(yè)面的ZIM歸檔文件閱讀器(下面的章節(jié)會(huì)細(xì)說(shuō))。而且,我們搭建鏡像服務(wù)的方式是一個(gè)復(fù)雜/耗時(shí)的過(guò)程。

          1. 使用openzim/zim-tools工具來(lái)展開(kāi)(解包)ZIM文檔
          2. 調(diào)整HTML/CSS/JS腳本以修復(fù)解包的格式。
          3. 將快照導(dǎo)入IPFS。
          4. 在解包的IPFS快照中包含原始的ZIM文件。

          雖然這是可行的,但由于這依賴(lài)于對(duì)快照進(jìn)行解壓和定制,因此影響了生成更新的可靠性。而且在Kiwix離線閱讀器(https://www.kiwix.org/en/kiwix-reader)上包含原始的ZIM文件也在一定程度上數(shù)據(jù)變得重復(fù)。

          我們很樂(lè)意建立更多語(yǔ)言的鏡像服務(wù)和加快更新的節(jié)奏,不過(guò)這先要脫離對(duì)展開(kāi)(解包)ZIM歸檔文件這個(gè)過(guò)程的依賴(lài)。

          我們將會(huì)研究在IPFS上放入來(lái)自Kiwix的所有ZIM文件,并為實(shí)現(xiàn)長(zhǎng)久儲(chǔ)存放入Filecoin網(wǎng)絡(luò)上,這是farm.openzim.org流水線的一部分。

          征集幫助,以及現(xiàn)存問(wèn)題

          如果你還在看這篇文章,那么很有可能你對(duì)改進(jìn)分布式維基百科鏡像服務(wù)的運(yùn)行方式感興趣。

          以下是可能需要幫助的領(lǐng)域,還有讓人展開(kāi)探索的一些想法。

          搜索功能。目前暫時(shí)沒(méi)有搜索功能。利用ZIM文件里現(xiàn)有的索引,或搭建一個(gè)為網(wǎng)頁(yè)瀏覽器優(yōu)化的基于有向無(wú)環(huán)圖(DAG)的搜索索引可以讓現(xiàn)有的鏡像服務(wù)更為有用。查看這里 [distributed-wikipedia-mirror/issues/76]了解更多。

          基于Web網(wǎng)頁(yè)的ZIM文件閱讀器。對(duì)此項(xiàng)目最大的影響莫過(guò)于實(shí)現(xiàn)一個(gè)基于網(wǎng)頁(yè)的ZIM歸檔文件閱讀器,讓人們?cè)跓o(wú)需解壓\無(wú)需安裝任何專(zhuān)用軟件的情況下就能夠?yàn)g覽原始的ZIM歸檔文件。想幫助將其變成現(xiàn)實(shí)嗎?查看這里 [kiwix-js/issues/659](https://github.com/kiwix/kiwix-js/issues/659)

          改善ZIM文件在IPFS網(wǎng)絡(luò)上的存放方式。當(dāng)我們?cè)贗PFS網(wǎng)絡(luò)上存儲(chǔ)一個(gè)原始的ZIM文件時(shí),相關(guān)的DAG(有向無(wú)環(huán)圖)是通過(guò)ipfs add --cid-version 1命令生成的。這個(gè)方法是可行的,但如果對(duì)優(yōu)化DAG創(chuàng)建過(guò)程開(kāi)展進(jìn)一步研究,我們或許能夠在進(jìn)行特定字節(jié)范圍請(qǐng)求時(shí)優(yōu)化重復(fù)數(shù)據(jù)刪除過(guò)程和提升速度。下面有幾個(gè)可供探索的不同階段研究?jī)?nèi)容。如果對(duì)哪個(gè)感興趣了,請(qǐng)?jiān)赿istributed-wikipedia-mirror/issues/42這里進(jìn)行評(píng)論。  

          第1階段:投入一點(diǎn)時(shí)間去對(duì)參數(shù)空間進(jìn)行分析檢測(cè),看看有沒(méi)有很容易就發(fā)現(xiàn)的成果。  
          第2階段:創(chuàng)建一個(gè)DAG生成器,它能夠理解ZIM格式,并通常將圖形資源以dag-pb存在的子DAG形式來(lái)代表,從而最大化地進(jìn)行重復(fù)數(shù)據(jù)刪除。  
          第3階段:研究使用IPLD(https://ipld.io/)增強(qiáng)或取代ZIM文件。應(yīng)如何在所有的快照和語(yǔ)言之間最大化地提升重復(fù)數(shù)據(jù)刪除的性能?一個(gè)基于IPLD的搜索索引將會(huì)如何工作?

          感謝閱讀!


          在右下角留下你的贊吧


          瀏覽 373
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  无码一区二区高清 | 国产精品电影在线观看 | 日韩精品网站 | 12—13女人毛片毛片 | 台湾中文字幕娱乐网 |