AWS壓縮算法從gzip切換到zstd，節(jié)約30%存儲(chǔ)空間
出品 | OSC開(kāi)源社區(qū)（ID：oschina2013)
亞馬遜前副總裁 Adrian cockcroft 在推特上爆料，稱(chēng) AWS 的壓縮算法從 gzip 切換到 zstd 后，節(jié)省了海量?jī)?nèi)存，壓縮后的 S3 存儲(chǔ)減少了大約 30% ，節(jié)省的空間可達(dá) EB 規(guī)模（1 EB = 1024 PB = 1024 * 1024 TB）。
有亞馬遜員工對(duì)該發(fā)言進(jìn)行了補(bǔ)充，稱(chēng)亞馬遜改變的不是客戶(hù)存儲(chǔ)的數(shù)據(jù)的壓縮方式，而是 S3 自身存儲(chǔ)服務(wù)數(shù)據(jù)（主要是日志）的方式 —— S3 自身從 gzip 日志切換到 ztsd 日志，使得存儲(chǔ)成本降低 30% 。
但亞馬遜并沒(méi)有發(fā)布變更壓縮技術(shù)相關(guān)的公告，有細(xì)心的福爾摩斯網(wǎng)友發(fā)現(xiàn)了亞馬遜 S3 在 2021 年 11 月末曾有過(guò)一次降價(jià) 31% 的操作，與降低的 30% 存儲(chǔ)成本剛好可以對(duì)應(yīng)上。
關(guān)于 Zstd
Zstd (Zstandard) 是由 Facebook 開(kāi)源的快速無(wú)損壓縮算法，主要應(yīng)用于 zlib 級(jí)別的實(shí)時(shí)壓縮場(chǎng)景，并且具有更好的壓縮比。 Zstd 還可以以壓縮速度為代價(jià)提供更強(qiáng)的壓縮比，速度與壓縮率的比重可通過(guò)增量進(jìn)行配置。
推薦閱讀
IntelliJ項(xiàng)目遷移到Java 17！2022.3 版本開(kāi)始必須Java 17！ Jenkins + Docker 一鍵自動(dòng)化部署 SpringBoot 項(xiàng)目 微軟出手，拯救“四分五裂”的Markdown！
你好，我是程序猿DD，10年開(kāi)發(fā)老司機(jī)、阿里云MVP、騰訊云TVP、出過(guò)書(shū)創(chuàng)過(guò)業(yè)、國(guó)企4年互聯(lián)網(wǎng)6年。從普通開(kāi)發(fā)到架構(gòu)師、再到合伙人。一路過(guò)來(lái)，給我最深的感受就是一定要不斷學(xué)習(xí)并關(guān)注前沿。只要你能堅(jiān)持下來(lái)，多思考、少抱怨、勤動(dòng)手，就很容易實(shí)現(xiàn)彎道超車(chē)！所以，不要問(wèn)我現(xiàn)在干什么是否來(lái)得及。如果你看好一個(gè)事情，一定是堅(jiān)持了才能看到希望，而不是看到希望才去堅(jiān)持。相信我，只要堅(jiān)持下來(lái)，你一定比現(xiàn)在更好！如果你還沒(méi)什么方向，可以先關(guān)注我，這里會(huì)經(jīng)常分享一些前沿資訊，幫你積累彎道超車(chē)的資本。